Когда компания выбирает языковую модель, она обычно сравнивает качество ответов, размер контекста и цену. Вопрос, кто именно будет выполнять запросы, при этом часто остается в стороне.
Открытые модели, например DeepSeek, Qwen или Kimi, запускают сразу несколько поставщиков. Веса модели у всех одинаковые, а условия работы разные: цена запроса, скорость ответа, стабильность, доступные функции. Для бизнеса это такой же предмет выбора, как сама модель.
Кратко:
Одна и та же модель у разных поставщиков работает на разном оборудовании, с разной точностью вычислений и при разной загрузке, поэтому отличается ценой, скоростью и стабильностью. Поставщика выбирают под задачу: чат-боту поддержки нужен самый быстрый, пакетной обработке — с более низкой ценой, критичным процессам — самый стабильный. Сравнивать поставщиков нужно на своих запросах, а не по прайсу.
Почему одна модель работает по-разному
Модель — это файл с весами. Чтобы она отвечала на запросы, поставщик запускает ее на своих серверах, и на этом этапе появляются различия.
Оборудование и загрузка
Поставщики используют разные поколения GPU и по-разному распределяют нагрузку. Один держит запас мощности и отвечает быстро в любое время, другой загружает серверы плотнее и снижает цену, но в часы пик ответ приходит медленнее.
Точность вычислений
Чтобы модель занимала меньше памяти и работала быстрее, ее веса хранят с пониженной точностью. Этот прием называется квантизацией. Он снижает стоимость запроса, но на сложных задачах может немного ухудшить ответы. Поставщики выбирают точность сами и не всегда пишут о ней прямо.
Программа запуска и настройки
Модель работает внутри программы для инференса, например vLLM или SGLang. От ее версии и настроек зависит, сколько запросов сервер обрабатывает одновременно, есть ли кэш повторяющегося контекста и как быстро появляется первое слово ответа.
Ограничения и функции
Один поставщик дает модели полный контекст, другой ограничивает его ради экономии памяти. У одного работают вызов инструментов и ответ в строгом формате JSON, у другого нет. Различаются и лимиты: сколько запросов в минуту можно отправить.
По каким показателям сравнивать поставщиков
| Показатель | Что показывает | Когда важен |
|---|---|---|
| Цена входящих и исходящих токенов | Сколько стоит обработка запроса и ответа | Пакетная обработка, большие объемы |
| Цена кэша | Сколько стоит повторно отправленный контекст | Агенты, ассистенты с длинными инструкциями |
| Время до первого токена | Через сколько секунд пользователь видит начало ответа | Чат-боты, голосовые помощники |
| Скорость генерации | Сколько токенов в секунду выдает модель | Длинные ответы, отчеты, код |
| Доступность | Какую долю времени поставщик отвечает без ошибок | Критичные процессы |
| Максимальный контекст | Какой объем текста модель принимает за раз | Работа с большими документами |
| Поддержка функций | Вызов инструментов, ответ в формате JSON | Агенты и интеграции |
| Лимиты запросов | Сколько запросов в минуту допускается | Пиковые нагрузки |
Как выбрать поставщика под задачу
Универсально лучшего поставщика нет. Для каждой задачи важен свой показатель, и выигрыш по одному часто означает проигрыш по другому.
| Задача | Что важнее всего | Какого поставщика выбрать |
|---|---|---|
| Чат-бот поддержки | Время до первого токена | Самого быстрого, даже если он дороже |
| Агент с длинными инструкциями | Цена кэша и полный контекст | С недорогим кэшем и без урезанного контекста |
| Ночная обработка архива | Цена | С более низкой ценой: время ответа некритично |
| Ассистент для сотрудников | Стабильность | С высокой доступностью и ровной скоростью |
| Интеграция с CRM или 1С | Поддержка функций | С надежным вызовом инструментов и ответом в JSON |
Как проверить поставщика перед закреплением
Соберите набор запросов
Возьмите реальные запросы из рабочей задачи, без персональных данных. Добавьте сложные случаи и запросы со строгим форматом ответа.
Прогоните у нескольких поставщиков
Отправьте один и тот же набор каждому поставщику в рабочее время. Зафиксируйте время до первого токена, скорость генерации и долю ошибок.
Сравните качество
Проверьте ответы по критериям задачи: точность, соблюдение формата, корректность вызова инструментов.
Посчитайте стоимость задачи
Умножьте объем токенов на цены каждого поставщика с учетом кэша. Сравнивайте стоимость выполненной задачи, а не цену токена.
Закрепите и пересматривайте
Закрепите выбранного поставщика за задачей и повторяйте проверку раз в квартал: цены и скорость меняются.
Как это устроено в AIaaS
В AIaaS от ITGLOBAL.COM поставщика можно выбрать для каждой модели. Цены всех поставщиков опубликованы в документации сервиса, а запросы оплачиваются по цене того, кто их выполнил. Неподходящего поставщика можно исключить, а нужного — закрепить за своими задачами.
Выбор поставщика работает вместе с ключами доступа, назначением моделей на ключи и статистикой использования и расходов. Например, у поддержки свой ключ с быстрым поставщиком, у аналитиков — с более дешевым, и расходы каждой команды видны отдельно.
Протестируйте AIaaS на своих задачах бесплатно
Две недели на выделенных GPU с инженером на связи. В конце — отчет со скоростью, качеством и стоимостью запроса для вашего бизнеса.
FAQ
Почему одна и та же модель у разных поставщиков стоит по-разному?
Поставщики запускают модель на разном оборудовании, с разными настройками и при разной загрузке. От этого зависят их затраты на обработку запроса, а значит и цена, и скорость ответа.
Отличаются ли ответы одной модели у разных поставщиков?
Могут немного отличаться. Поставщики используют разную точность вычислений и разные настройки запуска, поэтому на сложных задачах и при строгом формате ответа качество стоит проверять на своих запросах.
Что важнее при выборе поставщика: цена или скорость?
Зависит от задачи. Чат-боту, где клиент ждет ответа, важнее время до первого слова. Ночной обработке документов важнее цена. Для бюджета и планирования важнее всего стабильность.
Можно ли использовать разных поставщиков одной модели для разных задач?
Да. Поставщика выбирают для каждой задачи отдельно: быстрого для поддержки, более дешевого для пакетной обработки. Модель при этом остается той же, и менять код приложений не нужно.
Предыдущая статья
