Запросить ресурсы
Прямо сейчас свободно 86400 vCPU, 180 Tb RAM
На предыдущую страницу
Блог
#AI
#AI Cloud

База знаний с ИИ для компании: как она устроена и с чего начать

Представьте, что любой сотрудник может спросить что угодно о внутренних правилах, договорах или продуктах компании — и через пару секунд получить точный ответ со ссылкой на документ. Именно это умеет корпоративная база знаний на основе ИИ.

В статье рассказываем, как она работает, из чего состоит, сколько ресурсов требует, как подготовить данные и как не допустить ошибок, которые чаще всего тормозят такие проекты.

Кратко:

База знаний на ИИ работает по схеме RAG: система находит нужные фрагменты документов, а языковая модель пишет по ним ответ со ссылками на источники. Видеокарты нужны только четырём компонентам, остальное работает на обычных серверах. Размер системы определяет не объём файлов, а количество полезного текста. Главный рычаг качества — настройка поиска, а не выбор модели. Начинать стоит с аудита данных и узкого пилота.

Зачем она нужна

Сегодня, чтобы найти ответ во внутренних документах, приходится вспоминать название регламента, искать нужную папку и пролистывать десяток файлов. С ИИ-базой знаний достаточно задать вопрос своими словами — ответ придёт вместе со ссылкой на источник.

Больше всего это экономит время в таких задачах:

  • HR и внутренние правила. Как оформить отпуск за свой счёт, кто подписывает командировку.
  • Продажи и пресейл. Условия услуг, уровень сервиса (SLA), ограничения продукта, ответы на частые вопросы клиентов.
  • Поддержка. Инструкции, известные сбои и способы их обойти, похожие обращения из прошлого.
  • Юристы и закупки. Что договор говорит о сроках, штрафах и расторжении.
  • Инженеры. Проектная и техническая документация, стандарты, требования.

Чем это лучше обычного поиска

Привычный поиск ищет совпадения слов. Спросите «отпуск за свой счёт» — и документ, где написано «отпуск без сохранения заработной платы», вы не найдёте. ИИ-база знаний понимает смысл вопроса, собирает ответ из нескольких документов и показывает, откуда что взято.

Почему не подойдёт обычный чат-бот

Универсальная языковая модель ничего не знает о ваших документах. Её можно дообучить, но это дорого — а после каждой правки регламента пришлось бы делать это снова. Поэтому используют другой подход — RAG (Retrieval-Augmented Generation, «ответ с опорой на найденное»). Модель не переучивают: при каждом вопросе ей просто показывают нужные фрагменты документов. Обновили документ — обновился и ответ.

Запустите пилот базы знаний без покупки видеокарт

Эмбеддер, переранжировщик и языковые модели — по API на GPU в московском ЦОД ITGLOBAL.COM. Оплата только за фактическое использование.

Подключить AIaaS

Принцип работы: два контура

Система живёт в двух режимах, которые почти не пересекаются по времени.

  1. Загрузка выполняется заранее. Документы переводятся в текст, текст делится на фрагменты, и для каждого фрагмента вычисляется вектор.
  2. Ответ собирается в момент вопроса. Система ищет фрагменты, ближайшие к запросу, отбирает самые полезные и передаёт их языковой модели.

Рис. 1. Как работает база знаний на RAG: загрузка и ответ

Вопрос сотрудника тоже проходит через эмбеддер: так система получает его вектор и может сравнить его с векторами фрагментов.

Вектор удобно представлять как смысловой отпечаток текста. У фраз «отпуск за свой счёт» и «отпуск без сохранения зарплаты» почти нет общих слов, но векторы у них окажутся рядом. Благодаря этому поиск находит нужный документ, даже если сотрудник сформулировал вопрос иначе, чем автор регламента.

У векторного поиска есть слабое место — точные идентификаторы. Номер договора, артикул или код ошибки надёжнее находит поиск по словам. Поэтому в зрелой системе оба механизма работают в паре.

Семь звеньев одной цепи

Внутри база знаний — это конвейер из семи этапов. Качество ответа определяет самое слабое звено, и чаще всего это не языковая модель, как можно подумать, а поиск.

1

Разбор документов

PDF, Word, таблицы и сканы превращаются в чистый текст. Здесь помогают инструменты вроде Docling, Apache Tika и Unstructured, а для сканов — распознавание текста (OCR). Типичные проблемы: таблицы рассыпаются, русские сканы читаются латиницей, колонтитулы попадают в каждый кусок текста.

2

Нарезка на фрагменты

Текст делят на небольшие куски по заголовкам и абзацам. К каждому куску полезно приписать название документа и раздела — иначе, например, «таблицу компенсаций» из двух разных договоров не отличить.

3

Эмбеддер

Специальная модель превращает каждый фрагмент и каждый вопрос в набор чисел — вектор. Популярные варианты: Qwen3-Embedding, BGE-M3, multilingual-e5, GigaEmbeddings, Gemini Embedding. Частая ошибка — выбрать модель по мировому рейтингу и не проверить на своих русских документах.

4

Векторная база

Хранит векторы и за доли секунды находит те, что ближе всего к вопросу: pgvector (PostgreSQL), Qdrant, Milvus, Weaviate, OpenSearch. Важно заранее продумать фильтр по правам доступа и посчитать, сколько памяти понадобится.

5

Поиск по словам

Ловит точные совпадения — номера договоров, артикулы, коды ошибок. Его результаты нужно аккуратно сочетать с поиском по смыслу, иначе один вид поиска заглушит другой.

6

Переранжировщик

Из 20–50 найденных фрагментов отбирает самые полезные для конкретного вопроса (Qwen3-Reranker, bge-reranker, Voyage rerank, Cohere Rerank). Если вызвать его неправильно, порядок станет почти случайным.

7

Языковая модель

Пишет ответ строго по найденным фрагментам и ставит ссылки на источники — это может быть Qwen, GigaChat, YandexGPT или зарубежная модель. Главное — запретить ей отвечать «из головы», если подходящего фрагмента нет.

Поверх конвейера нужны ещё две вещи. Права доступа — чтобы сотрудник видел в ответах только то, что может открыть сам. И набор контрольных вопросов с известными ответами, на котором проверяют каждое изменение.

AIaaS — все модели для базы знаний в одном API: Qwen3-Embedding, Qwen3-Reranker, Qwen, Gemma, GigaChat и YandexGPT по одному договору

Где всё это работает

Мощные видеокарты (GPU) нужны лишь четырём частям системы: распознаванию сканов, эмбеддеру, переранжировщику и языковой модели. Всё остальное — векторная база, поиск по словам, хранилище текстов и прав, портал для сотрудников и защита — спокойно работает на обычных серверах. Благодаря этому можно гибко решать, что держать у себя, а что брать как облачный сервис.

Отдельный элемент защиты — ИИ-фаервол. Он стоит в двух точках: там, где документы попадают в базу, и там, где вопрос вместе с найденными фрагментами уходит в языковую модель.

Рис. 2. Стенд базы знаний: чему нужна видеокарта

Три варианта размещения

Систему не обязательно держать в одном месте. Есть три типовые схемы, и их легко сочетать: например, запустить пилот на облачных моделях, а потом перенести рабочую версию на собственное оборудование.

Модели по API Всё в облаке ITGLOBAL.COM Всё у вас
Как устроено Модели работают в ЦОД ITGLOBAL.COM в Москве (AIaaS), остальное — у вас или в облаке И модели, и база, и портал — в облаке ITGLOBAL.COM; модели по API или на выделенных серверах (Private AI Cloud) Сервер с видеокартами стоит на вашей площадке; поставку и обслуживание берёт на себя ITGLOBAL.COM
Что покидает компанию Фрагменты документов и вопросы — по защищённому каналу Все данные, но они остаются в облаке на территории РФ Ничего
Кому подходит Для быстрого старта и пилота, если своих GPU нет, а нагрузка неравномерная Если не хочется поддерживать свою инфраструктуру, но данные должны оставаться в России Если данные не должны покидать контур, есть требования регулятора или постоянная высокая нагрузка
Как платите За фактическое использование (ИИ-кредиты) За использование моделей и ресурсы облака По договору за серверы и обслуживание, независимо от числа вопросов
Полезный совет: первичную загрузку большого архива выгоднее провести через облако, даже если потом база будет работать на вашем оборудовании. Покупать железо ради разового всплеска нагрузки нет смысла.

Сколько нужно «железа»

Хорошая новость: моделям для базы знаний не нужны гигантские вычислительные кластеры. Вот как это выглядит на практике в облаке ITGLOBAL.COM.

  • Эмбеддер и переранжировщик (Qwen3-Embedding-4B и Qwen3-Reranker-4B) весят по 8 ГБ каждый. Они работают на одном сервере с двумя видеокартами NVIDIA L40S — вместе с разбором документов, распознаванием сканов и речевыми сервисами. Эмбеддер обрабатывает 20–22 тыс. токенов в секунду, переранжировщик сортирует 20 фрагментов за 0,68 с. Эмбеддер на небольших объёмах может работать и без видеокарты, но в разы медленнее; переранжировщику без неё не обойтись — иначе ответ будет задерживаться на секунды.
  • Разбор документов (Docling) весит сотни мегабайт и может обходиться без GPU, хотя сканы на видеокарте обрабатываются заметно быстрее.
  • Языковая модель — самый требовательный компонент, без видеокарты она не работает. Qwen 3.8 (27 млрд параметров) занимает около 27 ГБ и помещается на одну карту NVIDIA RTX PRO 6000 на 96 ГБ. Оставшаяся память идёт под диалоги: одновременно можно вести около 13 длинных бесед. Gemma 4 занимает около 38 ГБ на карте NVIDIA A800 с учётом памяти под диалоги.
  • Векторная база, портал и защита работают на обычных серверах и виртуальных машинах.

С чего начать на своём оборудовании

Это ориентиры из практики, а не готовая спецификация: точная конфигурация зависит от числа пользователей и объёма документов.

  • Пилот. Достаточно одного сервера с видеокартой на 80–96 ГБ: на ней поместятся и языковая модель уровня Qwen 3.8, и эмбеддер, и переранжировщик (вместе около 43 ГБ), хотя одновременных диалогов будет меньше. Плюс обычная виртуальная машина под базу и портал.
  • Рабочая система. Языковой модели выделяют отдельные карты, остальным моделям — карту с памятью от 40 ГБ. Второй такой же сервер держат в резерве, чтобы поломка одной карты не останавливала сервис.
  • Очень большие модели вроде GLM-5 требуют уже восьми карт уровня H200. Для базы знаний это обычно лишнее: модели на 20–30 млрд параметров отлично справляются с ответами по найденным документам, а крупную модель при необходимости дешевле подключить по API.

Выделенная GPU-инфраструктура для базы знаний в ЦОД ITGLOBAL.COM

Private AI Cloud — выделенные серверы с NVIDIA RTX PRO 6000 96 ГБ и H200 141 ГБ в ЦОД ITGLOBAL.COM. Данные физически изолированы, скорость загрузки гарантирована.

Какую векторную базу выбрать

Выбор зависит от трёх вещей: сколько будет фрагментов текста, насколько сложно устроены права доступа и что уже используется в компании. Все пять популярных вариантов можно развернуть на своих серверах или в облаке ITGLOBAL.COM без зарубежных сервисов.

База Когда подходит Главные плюсы О чём помнить
pgvector (PostgreSQL) В компании уже есть PostgreSQL, фрагментов до десятков миллионов Знакомая эксплуатация, права и метаданные настраиваются обычным SQL Не строит индекс по очень длинным векторам; фильтр по правам срабатывает после поиска; для больших объёмов нужно расширение pgvectorscale
Qdrant Отдельная база под RAG на миллионы — сотни миллионов фрагментов со сложными правами Фильтр по правам прямо во время поиска, сжатие векторов в 4–32 раза, встроенный смешанный поиск Структуру кластера и индексы под права нужно продумать до загрузки
Milvus Сотни миллионов и миллиарды фрагментов, есть команда эксплуатации Рассчитан на огромные объёмы, понимает русскую морфологию Сложен в обслуживании, для небольших баз избыточен
Weaviate Нужен смешанный поиск «из коробки» Поиск по словам и смыслу в одном запросе Поддержка русской морфологии не заявлена; часть функций платная
OpenSearch В компании уже работает OpenSearch или Elasticsearch Сильный поиск по словам, права на уровне документа, сжатие в 32 раза Тяжеловат, если нужен только векторный поиск

Примерный ориентир по объёму (рекомендация, а не жёсткое правило): до 10 млн фрагментов справится любая база на одном сервере, и при наличии PostgreSQL проще всего взять pgvector. На 10–200 млн подойдут Qdrant или OpenSearch на нескольких серверах. Для сотен миллионов и больше — Milvus или кластер Qdrant.

Две ловушки

Слишком длинные векторы. Современные эмбеддеры выдают длинные векторы: у Qwen3-Embedding-4B это 2560 чисел. pgvector такой вектор сохранит, но не сможет быстро по нему искать. Выхода два: хранить числа в упрощённом виде (качество поиска почти не страдает, а индекс становится вдвое меньше) или попросить модель выдавать вектор покороче, например на 1024 числа. Остальные четыре базы работают с длинными векторами без проблем.

Права доступа. Если сотруднику доступна лишь малая часть базы, а проверка прав идёт уже после поиска, он может получить пустой ответ. Поэтому систему прав продумывают одновременно с выбором базы, а не потом.

Приём для больших объёмов: хранить тексты фрагментов отдельно, а в векторной базе оставлять только вектор, номер и метки прав.

Как оценить масштаб под свои документы

Размер системы определяет не то, сколько терабайт занимают файлы, а сколько в них полезного текста. От этого зависят память, диски и время первой загрузки. Оценку можно сделать в четыре шага.

1. Сколько в файлах настоящего текста. Большую часть корпоративных хранилищ занимают картинки, шрифты, разметка, архивы, видео и копии одних и тех же документов. В базу знаний попадает только текст без повторов. В нашем примере текст составляет 5% объёма файлов, а повторы и устаревшие версии — 30%. У каждой компании эти доли свои: договоры в Word дают много текста, презентации и чертежи — мало. Узнать точные цифры просто: прогнать через систему случайные 1–2% файлов из каждого источника. Оценка «на глаз» здесь ошибается в разы.

2. Сколько получится фрагментов. Текст режут на куски примерно по 500 токенов (токен — единица текста для модели; в русских деловых документах это в среднем 2,8 знака). Соседние куски немного перекрываются — в примере на 15%, такой вариант лучше всего показал себя в тестах NVIDIA. Microsoft для старта советует куски по 512 токенов с перекрытием 25%.

3. Сколько нужно памяти. Каждый фрагмент превращается в вектор. Память зависит от длины вектора и того, насколько его сжимают: длинный вектор в полном формате занимает в десять раз больше места, чем укороченный и сжатый. Сверху добавляют запас примерно в полтора раза на поисковый индекс.

4. Сколько займёт загрузка. По нашему замеру от 9 октября 2026 года эмбеддер Qwen3-Embedding-4B на одной общей видеокарте обрабатывает 20–22 тыс. токенов в секунду — это около 60 тыс. русских знаков в секунду, или примерно 72 млн токенов в час. Если взять несколько выделенных карт, время сократится пропорционально их числу.

Пример расчёта

Объём файлов Полезный текст Фрагментов Память без сжатия Память со сжатием Загрузка на одной карте
100 ГБ 3,5 ГБ 1,5 млн 23 ГБ 2,3 ГБ 9 часов
1 ТБ 35 ГБ 15 млн 230 ГБ 23 ГБ 4 дня
10 ТБ 350 ГБ 150 млн 2,3 ТБ 230 ГБ 38 дней
30 ТБ 1 ТБ 460 млн 7 ТБ 700 ГБ 112 дней

Без сжатия — вектор из 2560 чисел в полном формате; со сжатием — укороченный вектор из 1024 чисел в компактном формате.

Что из этого следует:

  1. Пока файлов не больше нескольких терабайт, вся база помещается на одном сервере, а загрузка занимает часы или дни.
  2. На десятках терабайт без сжатия уже не обойтись — оно экономит память в 10 раз. Для загрузки понадобятся несколько видеокарт и распределённая база.
  3. Главный способ сэкономить — не покупать больше железа, а грамотно отбирать данные. Вдвое меньше файлов — вдвое меньше всех затрат. Архивы, по которым никто не будет задавать вопросов, лучше не загружать вовсе или оставить для них только обычный поиск по словам.

Расчёт среды для базы знаний по выборке ваших документов

Инженеры ITGLOBAL.COM оценят объём полезного текста, память под векторы и время первичной загрузки, а также подберут вариант размещения.

А сколько нужно для ответов

Загрузка делается один раз, а вопросы приходят каждый день. На то, чтобы превратить вопрос в вектор, уходит 0,19 секунды, поиск в базе — сотые доли секунды, отбор лучших фрагментов — 0,68 секунды. Одна общая видеокарта на этом этапе выдерживает около двух вопросов в секунду, то есть примерно 7 тыс. в час. Основное время уходит на то, чтобы языковая модель написала ответ. Поэтому мощности под ответы считают от числа одновременных пользователей и выбранной модели, а не от размера базы.

Аудит до запуска

Самый дорогой просчёт — начинать проект с выбора модели, а не с данных. По опросу Gartner, 63% организаций либо не имеют практик работы с данными, необходимых для ИИ, либо не уверены в них. Там же прогноз: до конца 2026 года будет свёрнуто 60% ИИ-проектов, для которых данные не подготовили. Вот что стоит проверить ещё до того, как написана первая строка кода.

Что проверить Почему это важно Результат проверки
Источники и владельцы Без владельца некому решить, какая версия документа главная и что можно удалить. Отсюда устаревшие и противоречивые ответы Перечень источников с ответственным и решением по каждому: загружать, загружать с маскированием или не загружать
Дубликаты и версии По оценкам практиков, в типичной корпоративной базе около 30% устаревших версий и около 20% повторов. Они раздувают среду и сбивают ответы Реальная доля повторов для расчёта; правило: отменённая версия в поиск не попадает
Форматы и качество Сканы, таблицы, презентации и чертежи требуют разного разбора; скан с разрешением ниже 300 точек на дюйм распознаётся с ошибками Реальная доля текста по выборке из 1–2% файлов; список форматов, которым нужен особый разбор
Права доступа База не должна показывать сотруднику то, что он не может открыть в исходной системе. Права меняются, а индекс отстаёт до следующей синхронизации Источник прав (каталог пользователей, права SharePoint и файловых ресурсов), частота синхронизации, механизм доставки метки прав до каждого фрагмента
Персональные данные и тайна 152-ФЗ, коммерческая тайна, договоры с клиентами определяют, какие модели допустимы и где должна работать среда Классификация источников; решение, можно ли передавать текст во внешние модели
Поток изменений Первичная загрузка и ежедневные правки — разные задачи с разной нагрузкой Число новых и изменённых документов в день; допустимая задержка между правкой и её появлением в ответах
Инфраструктура и размещение Нужно понять, где разрешено обрабатывать данные, есть ли GPU, хватит ли памяти и канала до файловых хранилищ Оценка масштаба по шагам выше и выбор размещения: облако, выделенные серверы или собственный контур
Критерии успеха Без контрольных вопросов невозможно понять, стало ли лучше после очередной правки Не меньше 30, а лучше 100–200 реальных вопросов сотрудников с эталонными ответами, включая вопросы, ответа на которые в базе нет

Аудит завершается не отчётом, а четырьмя решениями: что загружаем, где размещаем, сколько ресурсов закладываем и по каким вопросам проверяем качество. Часто после аудита объём для загрузки сокращается в несколько раз. В одном из проектов, описанных на Хабре, из 12 тыс. документов пригодными оказались около 3,8 тыс.

От аудита к работающей базе

На весь объём данных базу знаний сразу не запускают. Внедрение проходит четыре этапа с тремя контрольными точками между ними: сначала узкий пилот с измеримой целью, и только по его итогам — расширение.

Рис. 3. Этапы внедрения: четыре этапа, три проверки

Логика простая. Ошибка в нарезке или выборе модели, найденная на пилоте, обходится в несколько часов пересчёта. Та же ошибка на десятках терабайт стоит недель повторной загрузки — достаточно взглянуть на расчёт выше.

Два правила, которые стоит закрепить с самого начала:

  • Эмбеддер и способ нарезки фиксируются на пилоте. Смена любого из них означает полный пересчёт всех векторов, поэтому без серьёзной причины их потом не трогают.
  • Новый индекс собирают рядом со старым. При обновлении новую версию индекса строят целиком, прогоняют на контрольных вопросах и только после этого переключают трафик. Иначе прерванная переиндексация оставит в базе смесь старых и новых фрагментов.

Качество ответов и галлюцинации

RAG уменьшает число выдуманных ответов, но полностью их не устраняет. Исследование Стэнфорда показало, что коммерческие юридические системы на RAG ошибаются в 17–33% случаев. Это лучше, чем у модели без поиска, но до нуля далеко. Значит, качество нужно закладывать в архитектуру и регулярно измерять, а не рассчитывать на мощь модели.

Откуда берутся ошибки

Что происходит Что видит сотрудник Как лечить
Ответа в базе нет, но модель всё равно отвечает Уверенный ответ «из головы» Разрешить и прямо требовать ответ «в документах этого нет»; запретить модели опираться на собственные знания
Нужный документ есть, но поиск его пропустил Ответ по соседнему, похожему документу Смешанный поиск по словам и смыслу, переранжировщик, название документа и раздела в каждом фрагменте
Фрагмент найден, но модель его проигнорировала Неполный или слишком общий ответ Передавать модели 5–10 лучших фрагментов, а не 50: середину длинного контекста модели читают хуже всего (эффект «lost in the middle»)
В базе лежат старая и новая версии документа Ответ по отменённому регламенту или смесь двух редакций Дата, версия и статус в метаданных; отменённые версии исключаются из поиска
Модель добавила детали, которых нет в источнике Правдоподобные, но неверные цифры и сроки Ссылка на источник к каждому утверждению; утверждения без ссылки удаляются

Сильнее всего на результат влияет поиск, а не замена языковой модели. Замер Anthropic показал: если к каждому фрагменту добавлять краткий контекст документа и сочетать поиск по словам, по смыслу и переранжирование, доля промахов поиска сокращается на 67% — с 5,7% до 1,9%.

Оговорка: если база меньше примерно 500 страниц, RAG не нужен вовсе — её можно целиком передать модели в запросе.

Как измерять качество

1

Соберите контрольный набор

Databricks рекомендует минимум 30 вопросов, а лучше 100–200. Вопросы должны быть реальными — из переписки и обращений сотрудников, — и к каждому прилагается эталонный ответ и документ. Обязательно включите вопросы, ответа на которые в базе нет: правильная реакция на них — отказ.

2

Оценивайте поиск и ответ по отдельности

Для поиска: попал ли нужный фрагмент в число первых найденных. Для ответа: опирается ли он только на найденное и отвечает ли на вопрос. Так сразу ясно, какое звено чинить. Для этого есть готовые инструменты — Ragas, TruLens, DeepEval.

3

Привлекайте модель-судью и выборочно людей

Сильная модель в роли судьи соглашается с людьми более чем в 80% случаев, но склонна завышать оценки длинным ответам. Эксперт со стороны заказчика регулярно пересматривает набор и спорные оценки.

4

Прогоняйте набор после каждого изменения

Новая модель, другая нарезка, переиндексация — после любого изменения набор прогоняют заново. Следите не только за средним результатом, но и за вопросами, которые раньше отрабатывали правильно.

Практика ITGLOBAL.COM: три урока

В ITGLOBAL.COM работает несколько внутренних баз знаний на RAG, и их качество регулярно проверяется на реальных вопросах сотрудников. Из этой практики сложились три вывода.

Ошибка в настройке поиска стоит дороже неудачного выбора модели. В одной из баз результаты поиска по словам и по смыслу просто складывались, хотя считались в разных шкалах, а переранжировщик вызывался неправильно. В итоге первый найденный фрагмент отвечал на вопрос лишь примерно в 5% случаев. После исправления — примерно в 40%, а среди первых трёх фрагментов ответ находится больше чем в половине случаев. Для сравнения: замена эмбеддера меняла результат всего на несколько процентов.

Смешанный поиск заметно сильнее поиска по словам. В другой базе поиск только по словам находил ответ среди первых трёх фрагментов в 52–55% случаев, а поиск по смыслу и словам с переранжированием — в 90–93%. Поиск по словам при этом оставили: точные коды и артикулы он находит надёжнее.

Модель нужно проверять на своих документах. На русскоязычных описаниях услуг ITGLOBAL.COM эмбеддер Qwen3-Embedding-4B находил нужное не хуже лучших из протестированных моделей. Но главное — он путал услуги и ставил первым документ о другом продукте лишь в 2% случаев, тогда как другие модели — в 11–13%. Когда описания разных продуктов похожи друг на друга, это решающее преимущество.

Qwen3-Embedding-4B и Qwen3-Reranker-4B в AIaaS — проверенная связка для русских документов, пример вызова с правильным шаблоном есть в документации

Безопасность

База знаний сводит в одно место то, что раньше хранилось в разных папках с разными правами, и при этом отвечает любому сотруднику. Поэтому защищать её нужно строже, чем исходные хранилища. В списке ключевых рисков для приложений на языковых моделях OWASP Top 10 за 2025 год есть отдельный пункт про RAG — LLM08, уязвимости векторных хранилищ.

Риск Как он реализуется Что делать
Утечка через права доступа Права в индексе отстают от источника; метка прав есть у документа, но не у его фрагментов; удалённый документ всё ещё находится поиском Фильтровать по правам при поиске и повторно перед ответом; ставить метку на каждый фрагмент; закрепить регламент синхронизации прав и удаления
Вредоносные инструкции в документах В файл встроен текст, адресованный модели, — например, белым шрифтом на белом фоне в резюме. Модель воспринимает его как указание. OWASP прямо отмечает, что RAG от этого не защищает Проверять документы на входе в базу; помечать найденный текст для модели как недоверенный; давать самому приложению минимум прав
Отравление базы В базу подкладывают тексты с нужным атакующему «ответом». В исследовании PoisonedRAG пяти подброшенных текстов на один вопрос хватило, чтобы атака удалась в 90% случаев Контролировать, кто и какие источники может подключать; вести журнал всех изменений базы; назначить владельца каждому разделу
Восстановление текста по векторам Вектор — не шифр: в исследовании 2023 года из векторов дословно восстановили 92% коротких текстов, включая имена из медицинских записей Хранить и защищать векторную базу наравне с самими документами: те же требования к размещению и доступу
Утечка персональных данных наружу При внешней языковой модели каждый найденный фрагмент вместе с вопросом уходит её поставщику Для чувствительных разделов использовать локальные модели в РФ; маскировать персональные данные до загрузки или вовсе не загружать такие разделы
Что важно учесть: команды в России, которые уже прошли внедрение, сходятся в одном совете — подключайте службу безопасности с первого дня проекта, а не накануне запуска.

92%атак поймано

ИИ-фаервол закрывает базу знаний от утечек и скрытых инструкций

Проверяет документы на входе, контролирует права на выдаче и ведёт журнал для службы безопасности. На тесте из 300 атак и 250 обычных запросов не остановил ни одного обычного запроса.

Как это устроено в AIaaS

AIaaS от ITGLOBAL.COM покрывает всю цепочку базы знаний: модели для разбора документов, поиска и ответа, инфраструктуру под векторную базу, защиту и внедрение. Решение можно взять целиком или подключить только недостающие компоненты.

Звено Что предоставляем Показатели
Разбор документов Docling переводит Word и PDF в текст с сохранением таблиц; распознавание русских сканов Договор Word объёмом 118 КБ — за 2,2 с; страница скана — за 10,6 с
Эмбеддер Qwen3-Embedding-4B через API AIaaS — на наших русских документах путает темы реже других моделей. Доступны также эмбеддеры Сбера и зарубежные Вектор вопроса — 0,19 с; загрузка — 20–22 тыс. токенов в секунду на общей карте
Переранжировщик Qwen3-Reranker-4B, пример вызова с правильным шаблоном — в документации; также Qwen3-Reranker-8B и Voyage rerank 20 фрагментов на вопрос — 0,68 с
Языковая модель Локальные Qwen 3.8 и Gemma 4 — для данных, которые нельзя отдавать наружу; российские GigaChat и YandexGPT; ведущие зарубежные модели. Всё — через единый API и один договор Полный каталог — на странице «Модели и поставщики»
Инфраструктура под базу Облако ITGLOBAL.COM для PostgreSQL с pgvector, Qdrant, OpenSearch или Milvus; Managed Kubernetes; развёртывание и сопровождение баз силами наших инженеров Расчёт памяти и диска — по методике из этой статьи
Выделенное железо Выделенные GPU на вашей площадке с поставкой и обслуживанием; Private AI Cloud — выделенные GPU-серверы с платформой AInergy в нашем ЦОД Время загрузки делится на число выделенных карт
Защита ИИ-фаервол: проверка документов на входе (персональные данные, вредоносное содержимое, скрытые инструкции для модели), контроль прав на выдаче, журнал для службы безопасности 92% атак поймано, ни один обычный запрос не заблокирован
Внедрение Аудит данных, расчёт среды, пилот на контрольных вопросах, настройка поиска и прав, сопровождение Опыт собственных баз знаний — в разделе о практике

Ориентир по бюджету. Основные затраты приходятся не на загрузку документов, а на память под векторы и на ответы языковой модели по каждому вопросу.

Где всё работает. Модели ITGLOBAL.COM — эмбеддер, переранжировщик, разбор документов, Qwen и Gemma — запущены на собственных GPU в ЦОД в Москве. Доступ к моделям AIaaS предоставляется через площадки в России и Казахстане. Если данные должны оставаться в РФ, всю цепочку — разбор, эмбеддер, переранжировщик, локальную модель ответа и векторную базу — можно собрать без зарубежных сервисов.

14дней

Проверьте базу знаний на своих документах бесплатно

Две недели на выделенных GPU с инженером на связи. В конце — отчёт со скоростью, качеством и стоимостью запроса для вашего бизнеса.

FAQ

Чем база знаний на ИИ отличается от обычного поиска по документам?

Обычный поиск ищет совпадения слов и выдаёт список файлов. База знаний на ИИ понимает смысл вопроса, находит нужные фрагменты даже при других формулировках, собирает ответ из нескольких документов и показывает источники.

Нужно ли дообучать языковую модель на документах компании?

Нет. При подходе RAG модель не переучивают: на каждый вопрос ей показывают найденные фрагменты документов. Обновили документ — обновился и ответ, без нового цикла обучения.

Можно ли запустить базу знаний без собственных видеокарт?

Да. Видеокарты нужны только эмбеддеру, переранжировщику, распознаванию сканов и языковой модели — их можно подключить по API в AIaaS. Векторная база и портал работают на обычных серверах.

От чего зависят затраты на базу знаний?

Первичная загрузка документов — разовая задача и обычно не самая затратная. Основные расходы приходятся на память под векторы и на ответы языковой модели на каждый вопрос. Сильнее всего объём и затраты сокращает отбор данных на этапе аудита.

Как не допустить утечки данных через базу знаний?

Фильтровать ответы по правам доступа на каждом фрагменте, проверять документы на входе, защищать векторную базу так же, как исходные документы, а для чувствительных данных использовать локальные модели в РФ.

Когда RAG не нужен?

Если база меньше примерно 500 страниц, её можно целиком передать языковой модели в запросе — отдельный поиск по фрагментам не требуется.

Оцените данную статью

Узнавайте о выходе новых статей в блоге первыми!

Подпишитесь на нашу рассылку