Внедрение ИИ в компании: с чего начать
Разбор с обратной стороны: почему пилоты не доживают до продакшена, какой процесс брать первым и по какому признаку понять, что внедрять пока нечего.
подчёркнутое слово распадается на токены — так его видит модель
Беру задачи на разбор свободные слоты с середины месяца
шаг 03 / 04 σ 0.18
наведите на подчёркнутые слова — так их видит токенизатор
Веду журнал того, что собираю сам: агенты, рабочие контуры, базы знаний и проверки. Пишу про — как оно устроено внутри и почему , — а не про то, что обещают на конференциях.
Разбор с обратной стороны: почему пилоты не доживают до продакшена, какой процесс брать первым и по какому признаку понять, что внедрять пока нечего.
Процедура выбора из четырёх шагов вместо сравнения бенчмарков: что должно быть решено до модели, по какому признаку сравнивать и когда переходить на другую.
Инструкции и данные едут в модель одной строкой, и различить их она не умеет. Разбираю, почему фильтры дают ложное спокойствие и что реально ограничивает ущерб.
Посчитал стоимость миллиона токенов на арендованной видеокарте и сравнил с ценами API. Результат неожиданный: по деньгам локальная модель почти никогда не выигрывает.
Разница не в модели и не в интерфейсе, а в том, кто решает следующий шаг. У бота сценарий задан заранее, у агента — выбирается на ходу.
Векторный поиск сравнивает вопрос и фрагмент по отдельности, реранкер смотрит на них вместе. Отсюда и разница: он видит отрицание, которое вектор не видит.
Отправка персональных данных в зарубежный сервис — это трансграничная передача со своими требованиями. Разбираю практическую границу и что делать, если данные всё-таки нужны.
Токен — не слово и не символ. Считать надо токенизатором конкретной модели, и на русском результат отличается от английского примерно в 1.29 раза.
Инструкция на английском занимает вдвое меньше токенов, чем на русском. На системной части это заметные деньги — и заметный риск для регистра ответа.
Попросить модель приписать ответу «уверенность 85%» легко. Считать это число вероятностью нельзя: оно отражает уверенность формулировки, а не знания.
Беру работу там, где важно не потратить месяц на эксперименты вслепую: смотрим процесс целиком, выбираем один проверяемый шаг и делаем его.