Языковые модели изнутри: RAG, контекст, эмбеддинги и вызов функций

Разбираем счёт за модель до последней строки на модельном примере из 6 000 обращений в месяц. Главный вывод, который редко звучит: сама модель — примерно четверть расходов на эксплуатацию, а не вся сумма, и экономить чаще нужно не на ней.

База знаний — та часть проекта, которую заказчик делает сам, и та, на которой проекты чаще всего останавливаются. Даём рабочую процедуру нарезки и разметки, а также правило актуальности, без которого агент через три месяца начинает отвечать по отменённому прайсу.

До MCP каждое подключение модели к системе писалось отдельно и заново под каждого подрядчика. Объясняем, что стандарт меняет в смете и в зависимости от исполнителя, и честно отмечаем, что российская экосистема вокруг него только складывается.

Дообучение звучит солиднее и продаётся дороже, поэтому его предлагают там, где хватает поиска по базе. Даём три признака, при которых дообучение действительно нужно, и считаем стоимость изменения регламента в обеих схемах — там разница в сотни раз.

Когда агент отвечает неправильно, чаще всего виновата не модель, а поиск: он подал ей не тот фрагмент. Разбираем шесть причин с механикой и указываем, какая из них лечится настройкой за день, а какая — переделкой базы знаний за две недели.

Вопрос «а куда это уходит» задают в каждом проекте, и внятного ответа обычно не получают. Разбираем маршрут запроса по узлам, показываем, в каких из них по умолчанию оседают персональные данные, и даём три законных конфигурации с ценой каждой.

В презентациях векторное хранилище подают как обязательный отдельный компонент. На объёмах малого и среднего бизнеса чаще достаточно расширения к уже работающему PostgreSQL — показываем порог, за которым это перестаёт быть правдой.

Практический разбор одного подключения: агент должен отвечать на вопрос «есть ли товар и когда отгрузите». Показываем, из чего состоит такой коннектор, сколько занимает по времени и почему конфигурация 1С важнее слова «1С» в техзадании.

Между «агент рассказал, как оформить заявку» и «агент оформил заявку» лежит один механизм — вызов функций. Разбираем его на примере и показываем, где именно в этой цепочке ставится проверка, потому что модель решает вызвать функцию, а не проверяет, можно ли.

Мультимодальность продают как универсальность, а в бизнес-задачах она нужна в трёх местах и в остальных только удорожает запрос. Показываем эти три места и объясняем, где специализированный распознаватель точнее и дешевле универсальной модели.

Модели с рассуждением дают заметно лучший результат на многошаговых задачах и заметно худший — на всём остальном, потому что стоят дороже и отвечают медленнее. Даём границу применения и способ проверить её на своих задачах за один день.

В типовой поддержке 30–50% вопросов повторяются почти дословно, и платить за них модели каждый раз необязательно. Разбираем два разных вида кэша, их эффект в рублях и главный риск — устаревший ответ, выданный как свежий.

Восемь секунд молчания в чате клиент воспринимает как поломку, а в голосовом канале это провал разговора. Раскладываем задержку по слагаемым, даём нормы по каналам и четыре способа сократить её без смены модели.

Локальная модель — единственный способ полностью убрать данные из чужого облака, и одновременно самый частый способ переплатить. Считаем железо и обслуживание против облачного счёта и называем порог, ниже которого своё дороже.