Сколько будет стоить ваш проект у нас? Опишите его в нескольких строках и увидите наш диапазон за две минуты. Получить оценку

Что такое разработка RAG и когда она нужна вашей компании?

Разработка RAG это инженерная работа по подключению большой языковой модели к вашим собственным знаниям, чтобы ответы брались из ваших документов, а не из того, что модель запомнила во время обучения. RAG нужен компании, когда люди раз за разом задают вопросы, ответы на которые уже где-то есть внутри: шаблоны ответов поддержки, инструкции к продуктам, договоры, политики, старые тикеты, вики, в которой никто не может ничего найти. Вместо переобучения модели RAG-система для каждого вопроса находит несколько важных фрагментов и передает их модели с инструкцией отвечать на их основе и ссылаться на них.

Типичные внедрения RAG, о которых нас спрашивают:

  • Внутренний ассистент, который отвечает на вопросы сотрудников на основе политик, регламентов и вики.
  • Ассистент поддержки клиентов, который опирается на статьи справочного центра и решенные тикеты (см. разработка чат-ботов на ИИ).
  • Поиск и ответы на вопросы по договорам, спецификациям или технической документации.
  • Слой "памяти" для ИИ-продукта, чтобы ассистент помнил факты о конкретном пользователе или аккаунте.

Как работает RAG-конвейер в продакшене?

У RAG-конвейера в продакшене две половины: офлайн-часть приема данных, которая готовит ваши знания, и онлайн-часть запросов, которая отвечает на вопросы. Большинство проблем с точностью возникает на стороне приема данных, поэтому мы вкладываем туда полноценное инженерное время, а не считаем это одноразовым скриптом.

Этап Что происходит Где обычно возникают проблемы
1. Прием данных Коннекторы забирают контент из файлов, Confluence, Google Drive, Notion, баз данных, систем тикетов или API Пропущенные источники, нет инкрементальной синхронизации, устаревшие копии
2. Очистка и разбор Извлекаются текст, таблицы и заголовки; удаляются дубликаты и шаблонный текст; сканированные PDF проходят OCR Таблицы сплющиваются в шум, колонтитулы повторяются в каждом фрагменте
3. Разбиение на фрагменты Документы делятся на фрагменты с метаданными (источник, раздел, дата, уровень доступа) Фрагменты обрываются посреди предложения или слишком длинные, чтобы быть конкретными
4. Эмбеддинги Каждый фрагмент превращается в вектор моделью эмбеддингов Модель не подходит к языку или предметной области
5. Хранение Векторы и метаданные хранятся в векторной базе данных Нет фильтрации по правам или дате
6. Поиск Гибридный поиск (векторный плюс по ключевым словам), затем переранжирование лучших результатов Правильный ответ есть, но стоит на 15-м месте
7. Генерация LLM отвечает на основе найденных фрагментов со ссылками Модель игнорирует контекст или примешивает посторонние знания
8. Оценка и мониторинг Тестовый набор и отзывы пользователей измеряют точность со временем Никто не замечает падения качества после изменения данных

Как разбивать документы на фрагменты для RAG?

Разбиение должно идти по структуре ваших документов, а не по фиксированному количеству символов. Хороший вариант по умолчанию: делить по заголовкам и абзацам на фрагменты в несколько сотен токенов, оставлять небольшое перекрытие и добавлять к каждому фрагменту метаданные: название документа, путь разделов, дату, язык и то, кому разрешено его видеть. Путь заголовков важен, потому что фрагмент "лимит составляет 30 дней" бесполезен, если неизвестно, что он из раздела "Возврат средств > Клиенты из ЕС".

Отдельные типы контента требуют отдельной обработки. Таблицы сохраняются целыми или превращаются в утверждения по строкам. FAQ делятся по одному вопросу на фрагмент. Длинные договоры разбиваются по пунктам с сохранением номера пункта. Журналы чатов и тикеты группируются по разговорам, а не по строкам. Мы тестируем две-три стратегии разбиения на одном и том же тестовом наборе и оставляем ту, которая чаще всего находит правильный фрагмент, а не угадываем.

Какие эмбеддинги и векторную базу данных использовать?

Модель эмбеддингов и векторную базу данных стоит выбирать под ваш объем данных, языки и правила хостинга, и обе должны быть заменяемыми в будущем. Мы держим их за небольшим интерфейсом в коде, так что смена провайдера это переиндексация, а не переписывание.

Вариант Когда подходит Компромиссы
pgvector (PostgreSQL) Команды, которые уже работают на PostgreSQL, до нескольких миллионов фрагментов, права доступа в той же базе На большем масштабе нужна настройка; меньше встроенных функций поиска
Qdrant Большие коллекции, развитая фильтрация по метаданным, развертывание в вашем собственном облаке Еще один сервис для поддержки
Weaviate или Milvus Очень большие коллекции, встроенный гибридный поиск Более тяжелая операционная поддержка
Pinecone (управляемый) Команды, которые вообще не хотят заниматься поддержкой базы данных Зависимость от поставщика, данные выходят за пределы вашей инфраструктуры
OpenSearch или Elasticsearch с векторами Компании, которые уже используют его для поиска по ключевым словам Векторные функции менее зрелые, чем в специализированных движках

Для эмбеддингов самый быстрый старт дают облачные модели OpenAI и подобных провайдеров. Открытые модели эмбеддингов работают на ваших собственных серверах, когда данные не могут покидать ваше окружение. Многоязычному контенту (например, английский плюс французский или украинский) нужна модель, проверенная на этих языках, и мы проверяем это во время оценки, а не предполагаем.

Как измерить точность RAG?

Точность RAG измеряется фиксированным тестовым набором: 50-200 реальных вопросов от ваших пользователей, каждый с ожидаемым ответом и источником, из которого он должен браться. Без такого набора любой разговор о качестве это мнение. С ним каждое изменение в разбиении, промптах, моделях или данных получает оценку, которую можно сравнить.

Мы отслеживаем четыре показателя:

  1. Точность поиска: появился ли правильный фрагмент среди лучших результатов?
  2. Достоверность: утверждает ли ответ только то, что есть в найденных фрагментах?
  3. Правильность ответа: совпадает ли ответ с ожидаемым по оценке рецензента или LLM-оценщика, сверенного с примерами от людей?
  4. Качество отказов: когда ответа нет в базе знаний, говорит ли об этом система, вместо того чтобы выдумывать?

В продакшене мы добавляем отзывы пользователей (палец вверх или вниз с причиной), логирование найденных источников для каждого ответа, стоимость запроса и задержку. Тестовый набор запускается автоматически перед каждым релизом, так же как модульные тесты.

А как насчет приватности данных, прав доступа и выбора модели?

RAG-система никогда не должна показывать пользователю фрагмент, который он не смог бы открыть в оригинальном источнике. Мы храним правила доступа как метаданные фрагментов и фильтруем во время поиска, так что права применяются еще до того, как модель что-то увидит. Чувствительные данные можно шифровать во время приема: в нашем проекте AI Grief Companion каждое сообщение шифруется отдельным ключом AES-256-GCM в KMS-конверте, а пользователь может удалить все одним кликом.

Для этапа генерации мы работаем с API OpenAI и Anthropic Claude, а также с открытыми моделями, которые работают на вашей собственной инфраструктуре (тот же проект запускает адаптеры Qwen2.5-7B через vLLM). Выбор зависит от правил работы с данными, языков, задержки и стоимости ответа. Промпты хранятся в базе данных с историей версий там, где это полезно, так что тон и инструкции можно настраивать без релиза кода. Конвейеры приема документов и эмбеддингов мы обычно пишем как отдельный сервис, см. разработка на Python.

Сколько стоит разработка RAG?

Стоимость разработки RAG зависит в основном от того, сколько источников вы подключаете, насколько они хаотичны и насколько строгие требования к точности и правам доступа. Proof of concept на одном источнике с тестовым набором обычно занимает 3-6 недель; ассистент для продакшена с несколькими источниками, правами доступа и интерфейсом занимает 2-4 месяца; RAG на уровне платформы для нескольких продуктов с собственными моделями требует больше времени.

Расходы на работу считаются отдельно: токены модели на каждый ответ, стоимость эмбеддингов при каждой переиндексации и хостинг векторной базы данных. Во время proof of concept мы считаем стоимость 1 000 вопросов, чтобы не было неожиданностей, и после короткого разговора для оценки объема даем фиксированную цену на согласованные этапы. У нас RAG-ассистент по вашим знаниям стоит от 10 000 USD; наше руководство о стоимости разработки чат-бота на ИИ разбирает большие объемы.

Где мы строили RAG и LLM-системы?

Наша самая полная работа с поиском это AI Grief Companion для американского стартапа: шлюз приема данных на Python разбирает десять форматов экспорта чатов в одну нормализованную таблицу сообщений, а ML-конвейер строит профиль личности, граф фактов в Neo4j, память на RAG и адаптеры LoRA. Чат всегда использует тот этап, который уже готов, так что пользователи могут общаться с системой еще до завершения обучения.

С продуктовой стороны AI Resume Master, наш собственный конструктор резюме, использует LLM, чтобы генерировать, переписывать и улучшать резюме и сопроводительные письма, и достиг 50 000 активных пользователей в месяц. Более широкую картину добавления функций на LLM в существующий продукт смотрите на странице интеграция ИИ и в нашем руководстве по внедрению RAG.

Как мы работаем над RAG-проектами

Мы начинаем с короткого разговора для оценки объема и исследования: анализируем ваши источники, собираем реальные вопросы и вместе с вашей командой создаем тестовый набор. Затем делаем proof of concept на одном источнике с измеренной точностью и только после этого масштабируем на больше источников, права доступа и продакшн-интерфейс. За архитектуру отвечают senior-инженеры, а внутри команды мы используем ИИ-агентов для написания кода, чтобы быстрее делать инфраструктурную часть.

Если у вас есть база знаний, о которой люди постоянно задают одни и те же вопросы, запишитесь на консультацию и принесите пять примеров вопросов. Мы честно скажем, подходит ли здесь RAG.

Кейсы

Частые вопросы

RAG (генерация, дополненная поиском) в момент вопроса ищет в вашем собственном контенте и передает модели самые релевантные фрагменты, а модель отвечает на их основе и ссылается на них. Общий чат-бот не знает ваших внутренних документов, не учитывает, кому что разрешено видеть, и не может показать, откуда взялся ответ. RAG добавляет эти три вещи и при этом держит ваши данные в хранилище, которое вы контролируете.

Используйте RAG, когда модели нужны факты, которые меняются: политики, документация продукта, тикеты, договоры. Используйте дообучение, когда модели нужен стиль, формат или узкое поведение, которое она постоянно нарушает. Большинству бизнес-ассистентов сначала нужен RAG. Дообучение появляется позже, если вообще появляется, и два подхода хорошо сочетаются: в нашем проекте AI Grief Companion адаптер LoRA отвечает за голос, а поиск за факты.

Сфокусированный proof of concept на одном источнике знаний с тестовым набором обычно занимает 3-6 недель. Продакшн-система с несколькими источниками, правами доступа, инкрементальной синхронизацией, мониторингом и пользовательским интерфейсом обычно занимает 2-4 месяца. Самая большая переменная здесь не модель, а состояние исходных данных: сканированные PDF, дубликаты и устаревшие страницы добавляют работы по очистке.

Если вы уже используете PostgreSQL и у вас до нескольких миллионов фрагментов, pgvector обычно самый простой выбор, потому что держит векторы рядом с реляционными данными и правами доступа. Qdrant или Weaviate уместны для больших коллекций, сложной фильтрации или отдельного масштабирования. Управляемые сервисы вроде Pinecone уменьшают операционную работу, но добавляют зависимость от поставщика. Мы выбираем после анализа объема данных, фильтров и правил хостинга.

Галлюцинации невозможно убрать полностью, но их можно измерить и уменьшить. Мы инструктируем модель отвечать только на основе найденных фрагментов и говорить, когда она не знает, показываем ссылки для каждого ответа, добавляем переранжирование, чтобы к модели попадали правильные фрагменты, и запускаем фиксированный тестовый набор при каждом изменении. Ответы ниже порога уверенности передаются человеку или заменяются безопасным запасным ответом.

Давайте начнем ваш проект
Записаться на звонок