ITGLOBAL.COM предоставил GPU-инфраструктуру для запуска корпоративного ИИ-ассистента
ITGLOBAL.COM (международное облачное направление корпорации ITG) помог запустить ИИ-ассистента для работы с корпоративными знаниями. Компания предоставила GPU-инфраструктуру для обработки и поиска информации во внутренних источниках. Решение позволило ускорить доступ сотрудников к данным, а нагрузка на внутренние сервисные команды снизилась на 37%. Об этом CNews сообщили представители ITGLOBAL.COM.
Заказчиком выступила компания с несколькими бизнес-направлениями, филиальной сетью и большим объемом внутренних документов. Сотрудники регулярно работали с регламентами, шаблонами и технической документацией, а также обращались к внутренней базе знаний. По мере роста числа систем поиск информации усложнялся. Данные находились в разных источниках, а значительная часть типовых вопросов продолжала поступать во внутренние службы поддержки.
Компания поставила задачу упростить доступ к корпоративным знаниям. Требовалось создать ИИ-ассистента, который помогал бы находить документы и отвечать на типовые вопросы в диалоговом формате. При этом решение должно было работать внутри корпоративного контура, использовать актуальную документацию и обеспечивать стабильную производительность при росте нагрузки.
Для реализации проекта ITGLOBAL.COM предоставил GPU-инфраструктуру на базе NVIDIA RTX PRO 6000 Blackwell Server Edition. Платформа дала возможность развернуть среду для работы ИИ-ассистента с использованием механизма RAG. Он позволяет находить релевантную информацию во внутренних источниках и формировать ответы на ее основе.
Ассистент был интегрирован с корпоративными системами и получил доступ к регламентам, шаблонам, технической документации и базе сервисных обращений. В результате сотрудники начали получать ответы в диалоговом формате со ссылками на первоисточники вместо поиска информации в нескольких системах. Использование GPU-инфраструктуры обеспечило обработку запросов в реальном времени и возможность масштабирования по мере роста числа пользователей.
После запуска решения среднее время поиска информации сократилось с 15 минут до 40 секунд. Нагрузка на внутренние сервисные команды снизилась на 37%. Это позволило сократить объем типовых обращений и перераспределить ресурсы на более сложные задачи.
«В GPU Cloud от ITGLOBAL.COM реализована поддержка vGPU, поэтому заказчик может использовать как полный профиль видеокарты, так и виртуализированный GPU‑профиль с настраиваемым объемом памяти и вычислительных ресурсов. Это дало возможность стартовать с минимально необходимой конфигурации, верифицировать архитектуру на реальных данных и выйти в продуктивную нагрузку с нужным объемом ресурсов, избежав избыточных затрат на этапе пилота. Карты актуальных поколений были у нас в наличии, а скорость активации услуг позволила перейти к развертыванию в сжатые сроки, что важно, когда бизнес рассчитывает быстро проверить гипотезу и оперативно принять решение о масштабировании», — отметил Евгений Свидерский, директор облачного направления ITGLOBAL.COM, корпорация ITG.