Бюджет на ИИ обычно планируют по цене запроса: столько-то рублей за тысячу токенов, умножить на ожидаемое число обращений. Потом фактический счет оказывается выше плана.
Разница почти всегда складывается из двух вещей. Первая — повторы: ИИ-агенты на каждом шаге заново отправляют модели весь накопленный контекст. Вторая — выбор модели: простые задачи по умолчанию уходят в самую мощную и дорогую модель.
Короткий ответ
Счет за ИИ растет быстрее пользы, потому что основную часть оплачиваемого текста составляют повторы: инструкции, описания инструментов и история диалога, которые агент отправляет модели на каждом шаге. Сократить его помогают кэширование повторяющейся части запроса, подбор модели под задачу и учет стоимости выполненной задачи вместо цены одного запроса.
Из чего складывается счет
Языковые модели тарифицируются по токенам. Токен — это фрагмент текста, в русском языке в среднем часть слова. Платят отдельно за входящие токены, то есть все, что отправлено модели, и за исходящие — ответ модели. Ответ обычно стоит дороже, но входящего текста в рабочих сценариях намного больше.
Главное, что нужно знать финансисту: модель ничего не помнит между запросами. Чтобы продолжить разговор или следующий шаг задачи, ей заново отправляют все, что было раньше. Каждый раз это оплачивается как новый входящий текст.
Куда на самом деле уходят деньги
Агент оплачивает один и тот же текст много раз
ИИ-агент решает задачу за несколько шагов: ищет данные, вызывает инструменты, проверяет результат. На каждом шаге он отправляет модели инструкции, описания инструментов и всю историю предыдущих шагов. Контекст растет, и каждый следующий шаг дороже предыдущего.
Посчитаем на условном примере. Инструкции и описания инструментов занимают 10 тысяч токенов, каждый шаг добавляет еще 2 тысячи. Задача решается за 20 шагов.
| Как считали | Входящих токенов на задачу |
|---|---|
| План: цена первого запроса × 20 шагов | 200 тысяч |
| Факт: каждый шаг отправляет всю историю | 580 тысяч |
Фактический объем почти в три раза больше плана. На длинных задачах разрыв растет быстрее: число шагов увеличивает и количество запросов, и размер каждого из них.
Одни и те же инструкции у всех пользователей
Корпоративный ассистент начинает каждый диалог с одних и тех же инструкций, регламентов и справочников. Если в компании тысяча обращений в день, этот блок оплачивается тысячу раз, хотя не меняется неделями. Модель не помнит прошлых диалогов, поэтому приложение отправляет ей инструкции заново в каждом новом разговоре, и поставщик каждый раз считает их новым текстом.
Дорогая модель на простой задаче
Классифицировать обращение или извлечь реквизиты из письма может небольшая модель. Если все запросы по умолчанию идут в самую мощную модель, компания платит за возможности, которые в этих задачах не используются.
Кэш: как перестать платить за повторы
Кэширование запросов работает так: поставщик запоминает неизменное начало запроса и, когда то же начало приходит снова, берет его из кэша. Такой текст тарифицируется со скидкой, размер которой зависит от поставщика и модели.
в 5,4 раза
снизились начисления за счет кэширования
Кэш срабатывает при трех условиях:
- Начало запроса не меняется. Если в инструкции подставлять текущее время или имя пользователя, кэш сбрасывается на каждом запросе.
- Изменчивое идет в конце. Сначала инструкции, описания инструментов и документы, потом вопрос пользователя.
- Запросы идут достаточно часто. Кэш хранится ограниченное время и обновляется при каждом обращении.
Предыдущая статья
