Что такое внедрение RAG и как оно работает?
Внедрение RAG подключает большую языковую модель к вашим собственным знаниям, чтобы она отвечала из ваших документов, а не из памяти. В момент запроса система ищет в проиндексированном контенте, выбирает самые релевантные фрагменты, вставляет их в промпт и просит модель ответить со ссылками на источники.
Продакшен-архитектура RAG имеет два конвейера:
- Конвейер загрузки: подключить источники, разобрать файлы, очистить текст, разбить его на фрагменты, создать эмбеддинги, сохранить фрагменты с метаданными и правилами доступа и держать все синхронизированным.
- Конвейер запроса: понять вопрос, выполнить гибридный поиск, переранжировать результаты, составить промпт, сгенерировать ответ, добавить ссылки на источники и залогировать все для оценки.
Большинство сбоев RAG возникает в первом конвейере, а не в модели. Если таблица разобрана как шум или политика разрезана пополам, никакая модель не восстановит ответ. Это руководство проходит каждый этап так, как мы подходим к нему в Lytvynov Production. О том, как мы реализуем проекты, читайте на странице разработки RAG.
Как загружать и разбирать документы?
Загрузка должна превратить каждый источник в чистый текст со структурой и метаданными: заголовок, подзаголовки, URL источника, автор, даты, тип документа, язык и кто имеет право его читать. Уделите этому этапу настоящее время, потому что качество разбора определяет потолок качества ответов.
Распространенные источники и что им нужно:
- PDF и офисные файлы: разбор с учетом верстки, который сохраняет заголовки, списки и таблицы; OCR для сканированных страниц.
- Вики и справочные центры (Confluence, Notion, Zendesk, Intercom): API-коннекторы, которые также подтягивают права доступа и время обновления.
- Тикеты, чаты и письма: восстановление веток, удаление дубликатов цитированных ответов и подписей.
- Базы данных и каталоги товаров: превращать записи в короткий читаемый текст или обращаться к ним напрямую через инструменты вместо создания эмбеддингов.
Приведение многих неаккуратных форматов к одной чистой таблице часто самая сложная часть. В проекте AI Grief Companion мы написали парсеры для десяти форматов экспорта чатов (WhatsApp, Messenger, Instagram, Discord, iMessage из резервной копии iPhone, SMS с Android и других) и привели их все к одной таблице сообщений еще до любого шага с ИИ. Тот же урок касается бизнес-данных: сначала инвестируйте в единую нормализованную модель. Наша платформа календаря спортивных событий показывает ту же дисциплину вне ИИ: движок разбора объединяет данные из сотен внешних календарей.
Какую стратегию разбиения на фрагменты выбрать?
Разбивайте сначала по структуре документа, а потом по размеру. Делите по заголовкам, разделам, пунктам списков или веткам сообщений, а потом ограничивайте фрагменты размером, который вмещает одну завершенную мысль, обычно 200-800 токенов с небольшим перекрытием.
| Стратегия | Как работает | Для чего хороша | На что обращать внимание |
|---|---|---|---|
| Фиксированный размер с перекрытием | Разбиение каждые N токенов, перекрытие 10-20% | Быстрый базовый вариант, однородный текст | Разрезает предложения, таблицы и списки пополам |
| По структуре | Разбиение по заголовкам, разделам, абзацам | Документация, политики, договоры | Очень длинные разделы требуют повторного разбиения |
| Семантическая | Разбиение там, где падает тематическое сходство | Длинный повествовательный текст, транскрипты | Больше вычислений при загрузке, труднее отлаживать |
| Родительская и дочерняя | Поиск по малым фрагментам, возврат более крупного родительского раздела | Точный поиск с достаточным контекстом | Больше хранилища, больше токенов в промпте |
| По записям | Один фрагмент на тикет, товар, пункт FAQ или ветку сообщений | Структурированные или полуструктурированные данные | Очень коротким записям может не хватать контекста |
Добавляйте контекст к каждому фрагменту: ставьте в начало заголовок документа и путь раздела ("Политика возвратов > Клиенты из ЕС > Цифровые товары"), чтобы фрагмент имел смысл сам по себе. Этот один шаг часто улучшает поиск больше, чем смена модели эмбеддингов.
Как выбрать модель эмбеддингов?
Выберите модель эмбеддингов, которая работает с вашими языками и отраслевой лексикой, а затем протестируйте двух-трех кандидатов на собственном эталонном наборе. Облачные API эмбеддингов от OpenAI и других разумный выбор по умолчанию; модели эмбеддингов с открытыми весами хороший вариант, когда данные должны оставаться в вашей инфраструктуре.
Храните модель эмбеддингов и ее версию вместе с каждым вектором. Смена модели позже означает повторное создание эмбеддингов для всего корпуса, поэтому планируйте это как обычную фоновую задачу, а не аварию. Для многоязычного контента проверьте, находит ли вопрос на одном языке документы, написанные на другом, если это нужно вашим пользователям.
Какую векторную базу данных выбрать для RAG?
Используйте базу данных, которую ваша команда умеет хорошо обслуживать. Для большинства бизнесовых RAG-систем до десятков миллионов фрагментов качество поиска зависит гораздо больше от разбиения на фрагменты, гибридного поиска и переранжирования, чем от выбора векторного хранилища.
| Вариант | Тип | Сильные стороны | Компромиссы | Кому подходит |
|---|---|---|---|---|
| pgvector (PostgreSQL) | Расширение вашей существующей базы данных | Одна база для данных, векторов и прав доступа; транзакции; простое обслуживание | Требует настройки на больших масштабах; поиск по ключевым словам базовый без дополнительной работы | SaaS-продукты, которые уже работают на PostgreSQL, до нескольких миллионов фрагментов |
| Qdrant | Векторная база с открытым кодом, собственный хостинг или облако | Быстрая фильтрация по метаданным, поддержка гибридного поиска, эффективное использование памяти | Еще один сервис, который нужно запускать и бэкапить | Крупные корпуса, интенсивная фильтрация по метаданным |
| Weaviate | Векторная база с открытым кодом, собственный хостинг или облако | Встроенный гибридный поиск, модули для векторизации | Больше понятий для изучения, тяжелее в обслуживании | Команды, которым нужны поисковые функции из коробки |
| Pinecone | Полностью управляемый сервис | Никакой работы с инфраструктурой, легко масштабируется | Зависимость от поставщика, данные покидают ваше облако, оплата за использование | Команды без ресурса на DevOps |
| Elasticsearch / OpenSearch | Поисковый движок с поддержкой векторов | Зрелый поиск по ключевым словам (BM25), агрегации, существующий опыт обслуживания | Требовательны к ресурсам; векторные функции зависят от версии и лицензии | Компании, которые уже используют их для поиска |
Для SaaS-клиентов на PostgreSQL мы по умолчанию выбираем pgvector, потому что права доступа и идентификаторы клиентов (tenant ID) лежат рядом с векторами, и становится на одну систему меньше, которую нужно защищать. На отдельный движок мы переходим, когда это оправдывают масштаб или потребности в фильтрации.
Зачем гибридный поиск и переранжирование?
Гибридный поиск сочетает поиск по ключевым словам (BM25) с векторным поиском, потому что каждый находит то, что пропускает другой. Векторный поиск понимает перефразирование; поиск по ключевым словам ловит точные коды товаров, сообщения об ошибках, имена и аббревиатуры. Потом переранжировщик (reranker) упорядочивает объединенных кандидатов по настоящей релевантности вопросу.
Типичный поток запроса: переписать вопрос пользователя в самодостаточный поисковый запрос (раскрыть "это" и "то" из контекста разговора), параллельно выполнить поиск по ключевым словам и векторный поиск с фильтрами прав доступа, объединить результаты (reciprocal rank fusion простой метод), переранжировать 30-50 лучших кандидатов с помощью cross-encoder или API переранжирования и оставить 5-10 лучших для промпта. Переранжирование обычно дает один из самых больших приростов качества на час инженерной работы в RAG-проекте.
Как составить промпт и добавить ссылки на источники?
Составляйте промпт из четких разделов: системные правила, найденные фрагменты, каждый помеченный идентификатором источника, разговор на этот момент и вопрос. Дайте модели инструкцию отвечать только из фрагментов, указывать идентификаторы источников для каждого утверждения и прямо говорить, когда источники не содержат ответа.
После генерации проверяйте ссылки в коде: каждый указанный идентификатор должен быть среди найденных, а ответы с фактическими утверждениями без ссылок можно помечать или генерировать заново. Показывайте ссылки в интерфейсе как линки на оригинальный документ и раздел. Пользователи доверяют ответам, которые могут проверить, а команды поддержки могут исправить документ-источник вместо того, чтобы спорить с ИИ. Более широкую картину интеграции (стриминг, ограничения, затраты) смотрите в руководстве об интеграции ChatGPT или Claude в приложение.
Как работать с правами и контролем доступа в RAG?
Применяйте права доступа во время поиска, до того как любой фрагмент попадет в модель. Храните метаданные доступа (идентификатор клиента, команда, роль, ACL документа) с каждым фрагментом и применяйте их как фильтр в поисковом запросе для текущего пользователя.
Никогда не полагайтесь на промпт, чтобы скрыть контент ("не раскрывай документы HR"), потому что модель можно уговорить нарушить инструкции. Быстро синхронизируйте изменения прав из систем-источников и удаляйте фрагменты, когда удаляются документы. В мультитенантном SaaS фильтр по клиенту в каждом запросе обязателен, и мы добавляем автоматические тесты, которые пытаются достать данные другого клиента. Чувствительный контент может также требовать шифрования при хранении; платформа AI Grief Companion шифрует каждое сообщение во время загрузки отдельным ключом AES-256-GCM и поддерживает удаление всего одним кликом.
Как оценивать RAG-систему?
Оценивайте поиск и генерацию отдельно, используя эталонный набор реальных вопросов. Без него каждое изменение остается догадкой, и команды в итоге подгоняют промпты под тот пример, на который кто-то пожаловался последним.
- Эталонный набор: 100-300 реальных вопросов с эталонными ответами и документами-источниками, которые должны быть найдены. Добавьте вопросы, на которые в корпусе нет ответа.
- Метрики поиска: recall at k (появился ли правильный фрагмент среди первых k?) и качество ранжирования.
- Метрики генерации: верность источникам (подтверждено ли каждое утверждение найденными фрагментами?), релевантность ответа, полнота и точность ссылок. Вторая модель может оценивать это по рубрике, а люди проверяют выборку.
- Сигналы из продакшена: оценки "палец вниз", перефразирование вопроса, эскалации к человеку и вопросы без ответа.
Прогоняйте набор при каждом изменении разбора документов, разбиения на фрагменты, эмбеддингов, настроек поиска, промптов или моделей и блокируйте релизы, которые снижают оценки.
Как поддерживать RAG-индекс актуальным?
Поддерживайте индекс актуальным инкрементной синхронизацией: обнаруживайте новые, измененные и удаленные документы в каждом источнике и обновляйте только соответствующие фрагменты. Храните хэш содержимого и время обновления для каждого документа, чтобы пропускать неизмененные файлы.
Вебхуки из систем-источников дают обновления почти в реальном времени; для более медленного контента достаточно запланированных задач (каждый час или каждую ночь). Добавьте в поиск метаданные актуальности, чтобы более новые версии политики ранжировались выше старых, и архивируйте устаревшие документы вместо того, чтобы позволять им конкурировать. Мониторьте задачи синхронизации, как любой другой продакшен-конвейер, потому что тихий сбой синхронизации делает ассистента уверенно неправым насчет изменений прошлого месяца.
Какие самые распространенные сбои RAG?
Самые распространенные сбои это сбои поиска, которые выглядят как сбои модели. Когда ответ неверный, сначала проверьте, был ли правильный фрагмент вообще найден.
| Симптом | Вероятная причина | Исправление |
|---|---|---|
| Ответ размытый или "я не знаю", хотя ответ существует | Плохой разбор или разбиение на фрагменты, нет поиска по ключевым словам | Разбиение по структуре, гибридный поиск, контекстные заголовки фрагментов |
| Ответ смешивает старые и новые правила | Устаревшие или дублированные документы | Инкрементная синхронизация, версионирование, усиление актуальных документов |
| Уверенный ответ, которого нет в источниках | Слабые инструкции по опоре на источники, нет проверки ссылок | Правило "отвечай только из контекста", проверка ссылок, оценка верности источникам |
| Пользователь видит контент, который не должен видеть | Права применены в промпте, а не в поиске | Фильтры ACL во время запроса, тесты изоляции клиентов |
| Хорошее демо, слабый продакшен | Тестовые вопросы написала команда, а не пользователи | Эталонный набор из реальных логов, еженедельный разбор сбоев |
| Затраты растут с использованием | Слишком много или слишком длинные фрагменты на вызов | Переранжирование, меньше фрагментов, кэширование промптов |
RAG, fine-tuning или длинный контекст: что выбрать?
Выбирайте RAG для знаний, fine-tuning для поведения, а длинный контекст для небольшого материала, который меняется с каждым запросом. Эти подходы дополняют, а не конкурируют друг с другом, и многие продакшен-системы используют два из них вместе.
| Подход | Лучше всего для | Обновление | Профиль затрат | Ограничения |
|---|---|---|---|---|
| RAG | Большой объем знаний, которые меняются и имеют ограниченный доступ; ответы со ссылками | Мгновенно, переиндексировать документ | Индексация плюс поиск и токены промпта на каждый запрос | Качество ограничено разбором и поиском |
| Fine-tuning (например, LoRA) | Стабильный стиль, тон, формат или поведение в узкой задаче | Требует повторного обучения | Запуски обучения плюс хостинг дообученной модели | Плохо сохраняет факты, которые меняются; нет ссылок |
| Длинный контекст | Один договор, часть кодовой базы или отчет на запрос | Нечего обновлять | Высокая стоимость токенов на запрос, если без кэширования | Медленнее, дорого на масштабе, внимание модели может "расплываться" на очень длинных входных данных |
Платформа AI Grief Companion реальный пример сочетания подходов. Она строит профиль личности, граф фактов в Neo4j и подготовку к RAG из истории чатов пользователя и обучает LoRA-адаптеры (SFT и CPT на Qwen2.5-7B с 4-битным QLoRA) под манеру одного конкретного человека, а vLLM загружает нужный адаптер в момент запроса. Чат использует тот этап, который уже готов, поэтому разговор возможен еще до завершения обучения. Fine-tuning отвечает за то, как человек пишет; поиск за то, что он говорил.
Как мы работаем над RAG-проектами
В Lytvynov Production мы начинаем RAG-проекты с короткого разговора для оценки объема: смотрим на выборку ваших реальных документов и вопросы, которые задают пользователи, а затем даем фиксированную цену на разработку. На первом этапе мы создаем эталонный набор и тестируем на нем разбор и поиск. Дальше работаем этапами и отчитываемся об оценках качества на каждом из них. Если вы планируете ассистента по базе знаний или чат-бота на ИИ на корпоративных данных, свяжитесь с нами.