RAG или fine-tuning: что вам нужно?
Используйте RAG, когда модель должна отвечать из ваших документов или данных, особенно если эти знания меняются или разные пользователи вправе видеть разные части. Используйте fine-tuning, когда нужны стабильный стиль, формат или узкое поведение, которых промптом надёжно не достичь, и есть сотни или тысячи хороших примеров. Большинству бизнес-чатботов и ассистентов нужен RAG и вообще не нужен fine-tuning. Перед обоими попробуйте хорошо написанный промпт с несколькими примерами: он решает значительную долю случаев, в которых команды считают, что им нужно дообучение.
Их часто подают как альтернативы, но на практике они решают разные задачи. RAG, сокращение от генерации с дополнением поиском, меняет то, что модель видит для одного ответа. Fine-tuning меняет то, как модель ведёт себя на каждом ответе. Наше руководство по внедрению RAG объясняет, как строится система поиска, а это руководство о решении, которое этому предшествует.
Для украинского бизнеса вопрос часто звучит так: нужно ли «обучить ИИ на наших документах», то есть на прайсах, регламентах, инструкциях и переписке. В большинстве таких случаев ответ RAG, а не обучение модели.
Как работают RAG и fine-tuning: по абзацу на каждый
RAG. Ваши документы делят на фрагменты и индексируют. Когда пользователь задаёт вопрос, система находит самые релевантные фрагменты, добавляет их в промпт и просит модель ответить из них, обычно со ссылками. Обновите документ, и следующий ответ использует новую версию.
Fine-tuning. Вы готовите набор входных примеров с идеальными выходами и обучаете на них модель. Хостинговые поставщики предлагают дообучение некоторых своих моделей; с открытыми моделями вы сами обучаете адаптер вроде LoRA и хостите результат. Обученная модель затем отвечает в выученной манере без показа примеров каждый раз.
Что вам подходит? Тест из пяти вопросов
Ответьте на пять вопросов о функции, которую планируете:
- Зависит ли ответ от фактов из ваших документов или баз данных? Если да, вам нужен поиск того или иного вида.
- Меняются ли эти факты чаще, чем раз в несколько месяцев? Если да, дообучение на них устареет. RAG.
- Вправе ли разные пользователи видеть разные документы? Если да, RAG с фильтрами прав. Дообученная модель не может забыть выборочно.
- Проблема в том, как модель пишет или решает, а факты уже есть в промпте? Если да, сначала попробуйте промпт с примерами, затем fine-tuning.
- Есть ли у вас как минимум несколько сотен проверенных примеров идеального выхода? Если нет, fine-tuning пока не вариант, какой бы ни была проблема.
Если вы ответили «да» на 1, 2 или 3, начинайте с RAG. Если «да» только на 4 и также на 5, дообучение становится кандидатом. Если на 4 «да», а примеров нет, работа начинается со сбора примеров.
Десять бизнес-сценариев и что им нужно
| Сценарий | Типичный ответ | Почему |
|---|---|---|
| Бот поддержки над статьями справки и политиками | RAG | Содержимое меняется, ответам нужны цитаты |
| Внутренний ассистент по знаниям для сотрудников | RAG с правами доступа | Доступ различается по отделам |
| Ассистент продаж, отвечающий из спецификаций и прайс-листов | RAG | Спецификации и цены меняются |
| Просмотр договоров или документов по вашим правилам | Промпт плюс поиск набора правил | Правила меняются, рецензентам нужен источник |
| Классификация заявок или писем в ваши категории | Сначала промпт, fine-tuning при большом объёме | Малая дообученная модель может быть дешевле за единицу |
| Извлечение в фиксированный формат JSON | Промпт со схемой, fine-tuning редко | Функций структурированного вывода обычно хватает |
| Письмо в строгом голосе бренда во многих текстах | Промпт с примерами, затем fine-tuning | Стиль это поведение, а не знания |
| Персона, пишущая как один конкретный человек | Fine-tuning плюс RAG-память | Голос от обучения, факты от поиска |
| Предметный язык, который базовая модель обрабатывает плохо | Fine-tuning, часто открытой модели | Словарь и закономерности, измеренные на тестовом наборе |
| Ответы из живых данных, таких как заказы или остатки | Вызовы вашего API | Данные лежат в системе, а не в документах |
Последняя строка важна, потому что её часто пропускают. Когда ответ находится в базе данных, ни RAG над документами, ни fine-tuning не является правильным инструментом. Модель должна вызывать ваш API, как это делает ИИ-агент.
Сколько стоят RAG и fine-tuning?
Стоимость создания зависит в основном от ваших данных и интеграций, а стоимость работы от объёма и хостинга. Таблица сравнивает типичные профили для одной бизнес-функции.
| RAG | Fine-tuning хостинговой модели | Fine-tuning открытой модели | |
|---|---|---|---|
| Первая версия, у нас | От 10 000 USD | Обычно часть более крупного проекта | Обычно часть сложного ИИ-продукта |
| Работа с данными | Разбор, разбиение на фрагменты, права доступа, тестовые вопросы | Сотни или тысячи проверенных примеров | То же плюс настройка обучения |
| Стоимость обучения | Нет | За токен обучения, для узкой задачи обычно скромная | Время GPU, часто десятки или несколько сотен долларов за запуск для модели 7B-14B с LoRA |
| Стоимость работы | Токены API модели плюс векторный индекс, часто в вашем существующем PostgreSQL | Цена за токен дообученной модели, часто выше базовой | Хостинг GPU, примерно 700-3 000 USD в месяц за один GPU, работающий круглосуточно |
| Обновление знаний | Переиндексировать документ | Переобучить | Переобучить |
| Время до первой версии | 3-6 недель | 4-8 недель вместе с данными | 6-12 недель вместе с хостингом |
В Lytvynov Production RAG-ассистент или ИИ-чатбот стоит от 10 000 USD, а сложные ИИ-продукты, сочетающие fine-tuning, RAG-память или собственные модели, обычно стоят 60 000-150 000 USD. Типичное агентство из США или Великобритании за такой же объём просит примерно в 2,5-4 раза больше. Для украинского заказчика это значит, что разработка в Украине даёт тот же результат за заметно меньшую сумму.
Данные, нужные каждому подходу
Для RAG нужны сами документы в виде, который парсер может прочитать, правила прав, определяющие, кто что может видеть, и от 50 до 200 реальных вопросов с правильным ответом и источником. Этот набор вопросов самый ценный актив проекта: он показывает, находит ли поиск нужный фрагмент и остаётся ли ответ верным ему.
Для fine-tuning нужны примеры точного входа и точного идеального выхода, проверенные кем-то, кто знает предметную область. Типичные источники: прошлые заявки с финальным решением, документы, которые ваша команда писала вручную, или классификации, которые сотрудники сделали за последний год. Заложите время на очистку: удаление дублей, исправление неверных меток и отсев примеров с персональными данными, на которых не стоит обучать. О безопасности данных подробнее в руководстве о конфиденциальных данных и ИИ.
Когда достаточно промпта?
Чаще, чем ожидают команды. Современные модели хорошо выполняют подробные инструкции, несколько разобранных примеров и нужную схему вывода. Перед fine-tuning мы пробуем на тестовом наборе три вещи:
- Чёткая инструкция с выписанными правилами, в том числе что делать, когда модель не уверена.
- Пять-двадцать примеров идеальных выходов в промпте, закешированных, чтобы повторные вызовы стоили мало.
- Структурированный вывод со схемой JSON для всего, что будет читать машина.
Если этого хватает для целевой точности, fine-tuning добавит стоимость без пользы. Если пробел остаётся и касается стабильности или стиля, дообучение стоит проверить. Если пробел в нехватке фактов, исправление это поиск.
Когда имеет смысл сочетать оба подхода
Когда продукту нужны и голос, и факты. Яркий пример из нашей работы: ИИ-компаньон, созданный для американского стартапа. Адаптеры LoRA, обученные на сообщениях одного человека, дают ответы в его манере письма, а RAG-память с графом фактов поставляет то, что он на самом деле говорил и знал. Чат использует тот слой, что уже готов, поэтому разговор возможен ещё до завершения обучения. Fine-tuning несёт то, как человек пишет, а поиск то, что он говорил. Подробнее об этом проекте: AI Grief Companion.
Сочетание также имеет смысл при большом объёме. Малая дообученная модель может классифицировать или маршрутизировать запросы за долю стоимости большой модели, а конвейер RAG отвечает на запросы, требующие знаний.
Типичные ошибки
- Fine-tuning, чтобы добавить знания. Модель учит стиль ваших документов и всё равно выдумывает детали. Это исправляет поиск, а не дополнительное обучение.
- RAG без тестового набора. Никто не может сказать, улучшило ли ответы изменение разбиения на фрагменты или ранжирования или ухудшило.
- Игнорирование прав доступа. Ассистент, отдающий фрагмент из кадрового документа не тому человеку, это инцидент безопасности.
- Fine-tuning на непроверенных данных. Модель воспроизводит ошибки ваших прошлых заявок так же верно, как и хорошие ответы.
- Выбор по моде. Правильный подход тот, что проходит ваш тестовый набор при приемлемой стоимости ответа.
Как мы решаем вместе с клиентами
Мы компания по разработке программного обеспечения, основанная в 2019 году, которая создаёт ИИ-функции, SaaS-продукты и внутренние системы для компаний в Украине, США, Великобритании и ЕС. Наш собственный конструктор резюме с ИИ генерирует текст для 50 000 активных пользователей в месяц, и мы создавали продукты, сочетающие LoRA-дообучение с RAG-памятью.
Решение начинается с ваших данных и набора реальных вопросов или задач. Мы проверяем на этом наборе промпты, поиск и, где это оправдано, fine-tuning и рекомендуем самый дешёвый вариант, достигающий целевой точности. Фиксированную цену вы получаете после короткого звонка. Смотрите нашу услугу разработка RAG, чтобы увидеть, как мы строим системы поиска, остающиеся точными в продакшене, а также разработку генеративного ИИ.