RAG или fine-tuning: что вам нужно?

Используйте RAG, когда модель должна отвечать из ваших документов или данных, особенно если эти знания меняются или разные пользователи вправе видеть разные части. Используйте fine-tuning, когда нужны стабильный стиль, формат или узкое поведение, которых промптом надёжно не достичь, и есть сотни или тысячи хороших примеров. Большинству бизнес-чатботов и ассистентов нужен RAG и вообще не нужен fine-tuning. Перед обоими попробуйте хорошо написанный промпт с несколькими примерами: он решает значительную долю случаев, в которых команды считают, что им нужно дообучение.

Их часто подают как альтернативы, но на практике они решают разные задачи. RAG, сокращение от генерации с дополнением поиском, меняет то, что модель видит для одного ответа. Fine-tuning меняет то, как модель ведёт себя на каждом ответе. Наше руководство по внедрению RAG объясняет, как строится система поиска, а это руководство о решении, которое этому предшествует.

Для украинского бизнеса вопрос часто звучит так: нужно ли «обучить ИИ на наших документах», то есть на прайсах, регламентах, инструкциях и переписке. В большинстве таких случаев ответ RAG, а не обучение модели.

Как работают RAG и fine-tuning: по абзацу на каждый

RAG. Ваши документы делят на фрагменты и индексируют. Когда пользователь задаёт вопрос, система находит самые релевантные фрагменты, добавляет их в промпт и просит модель ответить из них, обычно со ссылками. Обновите документ, и следующий ответ использует новую версию.

Fine-tuning. Вы готовите набор входных примеров с идеальными выходами и обучаете на них модель. Хостинговые поставщики предлагают дообучение некоторых своих моделей; с открытыми моделями вы сами обучаете адаптер вроде LoRA и хостите результат. Обученная модель затем отвечает в выученной манере без показа примеров каждый раз.

Что вам подходит? Тест из пяти вопросов

Ответьте на пять вопросов о функции, которую планируете:

  1. Зависит ли ответ от фактов из ваших документов или баз данных? Если да, вам нужен поиск того или иного вида.
  2. Меняются ли эти факты чаще, чем раз в несколько месяцев? Если да, дообучение на них устареет. RAG.
  3. Вправе ли разные пользователи видеть разные документы? Если да, RAG с фильтрами прав. Дообученная модель не может забыть выборочно.
  4. Проблема в том, как модель пишет или решает, а факты уже есть в промпте? Если да, сначала попробуйте промпт с примерами, затем fine-tuning.
  5. Есть ли у вас как минимум несколько сотен проверенных примеров идеального выхода? Если нет, fine-tuning пока не вариант, какой бы ни была проблема.

Если вы ответили «да» на 1, 2 или 3, начинайте с RAG. Если «да» только на 4 и также на 5, дообучение становится кандидатом. Если на 4 «да», а примеров нет, работа начинается со сбора примеров.

Десять бизнес-сценариев и что им нужно

Сценарий Типичный ответ Почему
Бот поддержки над статьями справки и политиками RAG Содержимое меняется, ответам нужны цитаты
Внутренний ассистент по знаниям для сотрудников RAG с правами доступа Доступ различается по отделам
Ассистент продаж, отвечающий из спецификаций и прайс-листов RAG Спецификации и цены меняются
Просмотр договоров или документов по вашим правилам Промпт плюс поиск набора правил Правила меняются, рецензентам нужен источник
Классификация заявок или писем в ваши категории Сначала промпт, fine-tuning при большом объёме Малая дообученная модель может быть дешевле за единицу
Извлечение в фиксированный формат JSON Промпт со схемой, fine-tuning редко Функций структурированного вывода обычно хватает
Письмо в строгом голосе бренда во многих текстах Промпт с примерами, затем fine-tuning Стиль это поведение, а не знания
Персона, пишущая как один конкретный человек Fine-tuning плюс RAG-память Голос от обучения, факты от поиска
Предметный язык, который базовая модель обрабатывает плохо Fine-tuning, часто открытой модели Словарь и закономерности, измеренные на тестовом наборе
Ответы из живых данных, таких как заказы или остатки Вызовы вашего API Данные лежат в системе, а не в документах

Последняя строка важна, потому что её часто пропускают. Когда ответ находится в базе данных, ни RAG над документами, ни fine-tuning не является правильным инструментом. Модель должна вызывать ваш API, как это делает ИИ-агент.

Сколько стоят RAG и fine-tuning?

Стоимость создания зависит в основном от ваших данных и интеграций, а стоимость работы от объёма и хостинга. Таблица сравнивает типичные профили для одной бизнес-функции.

RAG Fine-tuning хостинговой модели Fine-tuning открытой модели
Первая версия, у нас От 10 000 USD Обычно часть более крупного проекта Обычно часть сложного ИИ-продукта
Работа с данными Разбор, разбиение на фрагменты, права доступа, тестовые вопросы Сотни или тысячи проверенных примеров То же плюс настройка обучения
Стоимость обучения Нет За токен обучения, для узкой задачи обычно скромная Время GPU, часто десятки или несколько сотен долларов за запуск для модели 7B-14B с LoRA
Стоимость работы Токены API модели плюс векторный индекс, часто в вашем существующем PostgreSQL Цена за токен дообученной модели, часто выше базовой Хостинг GPU, примерно 700-3 000 USD в месяц за один GPU, работающий круглосуточно
Обновление знаний Переиндексировать документ Переобучить Переобучить
Время до первой версии 3-6 недель 4-8 недель вместе с данными 6-12 недель вместе с хостингом

В Lytvynov Production RAG-ассистент или ИИ-чатбот стоит от 10 000 USD, а сложные ИИ-продукты, сочетающие fine-tuning, RAG-память или собственные модели, обычно стоят 60 000-150 000 USD. Типичное агентство из США или Великобритании за такой же объём просит примерно в 2,5-4 раза больше. Для украинского заказчика это значит, что разработка в Украине даёт тот же результат за заметно меньшую сумму.

Данные, нужные каждому подходу

Для RAG нужны сами документы в виде, который парсер может прочитать, правила прав, определяющие, кто что может видеть, и от 50 до 200 реальных вопросов с правильным ответом и источником. Этот набор вопросов самый ценный актив проекта: он показывает, находит ли поиск нужный фрагмент и остаётся ли ответ верным ему.

Для fine-tuning нужны примеры точного входа и точного идеального выхода, проверенные кем-то, кто знает предметную область. Типичные источники: прошлые заявки с финальным решением, документы, которые ваша команда писала вручную, или классификации, которые сотрудники сделали за последний год. Заложите время на очистку: удаление дублей, исправление неверных меток и отсев примеров с персональными данными, на которых не стоит обучать. О безопасности данных подробнее в руководстве о конфиденциальных данных и ИИ.

Когда достаточно промпта?

Чаще, чем ожидают команды. Современные модели хорошо выполняют подробные инструкции, несколько разобранных примеров и нужную схему вывода. Перед fine-tuning мы пробуем на тестовом наборе три вещи:

  1. Чёткая инструкция с выписанными правилами, в том числе что делать, когда модель не уверена.
  2. Пять-двадцать примеров идеальных выходов в промпте, закешированных, чтобы повторные вызовы стоили мало.
  3. Структурированный вывод со схемой JSON для всего, что будет читать машина.

Если этого хватает для целевой точности, fine-tuning добавит стоимость без пользы. Если пробел остаётся и касается стабильности или стиля, дообучение стоит проверить. Если пробел в нехватке фактов, исправление это поиск.

Когда имеет смысл сочетать оба подхода

Когда продукту нужны и голос, и факты. Яркий пример из нашей работы: ИИ-компаньон, созданный для американского стартапа. Адаптеры LoRA, обученные на сообщениях одного человека, дают ответы в его манере письма, а RAG-память с графом фактов поставляет то, что он на самом деле говорил и знал. Чат использует тот слой, что уже готов, поэтому разговор возможен ещё до завершения обучения. Fine-tuning несёт то, как человек пишет, а поиск то, что он говорил. Подробнее об этом проекте: AI Grief Companion.

Сочетание также имеет смысл при большом объёме. Малая дообученная модель может классифицировать или маршрутизировать запросы за долю стоимости большой модели, а конвейер RAG отвечает на запросы, требующие знаний.

Типичные ошибки

  • Fine-tuning, чтобы добавить знания. Модель учит стиль ваших документов и всё равно выдумывает детали. Это исправляет поиск, а не дополнительное обучение.
  • RAG без тестового набора. Никто не может сказать, улучшило ли ответы изменение разбиения на фрагменты или ранжирования или ухудшило.
  • Игнорирование прав доступа. Ассистент, отдающий фрагмент из кадрового документа не тому человеку, это инцидент безопасности.
  • Fine-tuning на непроверенных данных. Модель воспроизводит ошибки ваших прошлых заявок так же верно, как и хорошие ответы.
  • Выбор по моде. Правильный подход тот, что проходит ваш тестовый набор при приемлемой стоимости ответа.

Как мы решаем вместе с клиентами

Мы компания по разработке программного обеспечения, основанная в 2019 году, которая создаёт ИИ-функции, SaaS-продукты и внутренние системы для компаний в Украине, США, Великобритании и ЕС. Наш собственный конструктор резюме с ИИ генерирует текст для 50 000 активных пользователей в месяц, и мы создавали продукты, сочетающие LoRA-дообучение с RAG-памятью.

Решение начинается с ваших данных и набора реальных вопросов или задач. Мы проверяем на этом наборе промпты, поиск и, где это оправдано, fine-tuning и рекомендуем самый дешёвый вариант, достигающий целевой точности. Фиксированную цену вы получаете после короткого звонка. Смотрите нашу услугу разработка RAG, чтобы увидеть, как мы строим системы поиска, остающиеся точными в продакшене, а также разработку генеративного ИИ.

Наши гайды об ИИ и разработке вверху вашего Google?

Добавьте Lytvynov Production как предпочтительный источник, и Google будет показывать наши новые гайды об ИИ-агентах, стоимости MVP и заказной разработке выше в выдаче.

Кейсы

Частые вопросы

RAG даёт модели нужную информацию в момент вопроса: система ищет в ваших документах и вставляет релевантные фрагменты в промпт. Fine-tuning меняет саму модель, обучая её на примерах, поэтому она иначе ведёт себя на каждом запросе. RAG меняет то, что модель знает для этого ответа, а fine-tuning меняет то, как модель отвечает в целом.

Для первой версии обычно да. RAG-ассистента над документами компании у нас можно создать от 10 000 USD, и он работает на распространённом API модели и векторном индексе, часто в вашем существующем PostgreSQL. Fine-tuning добавляет подготовку данных, запуски обучения, оценку и, для открытых моделей, хостинг дообученной модели на GPU, который может стоить от нескольких сотен до нескольких тысяч долларов в месяц, если работает круглосуточно.

Плохо. Fine-tuning хорошо учит закономерностям, таким как тон, формат и решения, и ненадёжно хранит факты. Дообученная модель всё равно может выдумывать детали, не может сослаться на источник и требует переобучения каждый раз, когда факты меняются. Знания кладите в RAG, а поведение в промпты или fine-tuning.

Для узкой задачи вроде классификации или фиксированного формата вывода может хватить нескольких сотен тщательно проверенных примеров. Для стабильного стиля письма или поведения в конкретной области планируйте от одной до нескольких тысяч примеров. Качество важнее объёма: 500 правильных примеров лучше 5 000 некачественных.

Да, и зрелые продукты часто так и делают. Поиск поставляет актуальные факты, а fine-tuning даёт голос или шаблон решений. Мы обычно сначала строим поиск, измеряем его и добавляем fine-tuning только для пробела, который тестовый набор показывает и который промпт не закрывает.

RAG-чатбот - это чат-ассистент, который отвечает из вашего содержимого, например из статей справки, политик, данных о продуктах или внутренних документов: на каждый вопрос он ищет в них и цитирует использованные фрагменты. Это самый распространённый способ создать ассистента по знаниям компании или бота поддержки, который остаётся точным, когда документы меняются.

Давайте начнем ваш проект
Записаться на звонок