RAG чи fine-tuning: що вам потрібно?
Використовуйте RAG, коли модель має відповідати з ваших документів чи даних, особливо якщо ці знання змінюються або різні користувачі мають право бачити різні частини. Використовуйте fine-tuning, коли потрібні стабільний стиль, формат чи вузька поведінка, яких промптом надійно не досягти, і є сотні чи тисячі добрих прикладів. Більшості бізнес-чатботів і асистентів потрібен RAG і взагалі не потрібен fine-tuning. Перед обома спробуйте добре написаний промпт із кількома прикладами: він розв'язує значну частку випадків, у яких команди вважають, що їм потрібне донавчання.
Їх часто подають як альтернативи, але на практиці вони розв'язують різні задачі. RAG, скорочення від генерації з доповненням пошуком, змінює те, що модель бачить для однієї відповіді. Fine-tuning змінює те, як модель поводиться на кожну відповідь. Наш посібник із впровадження RAG пояснює, як будується система пошуку, а цей посібник про рішення, що передує цьому.
Для українського бізнесу питання часто звучить так: чи треба «навчити ШІ на наших документах», тобто на прайсах, регламентах, інструкціях і листуванні. У більшості таких випадків відповідь RAG, а не навчання моделі.
Як працюють RAG і fine-tuning: по абзацу на кожен
RAG. Ваші документи ділять на фрагменти й індексують. Коли користувач ставить запитання, система знаходить найрелевантніші фрагменти, додає їх у промпт і просить модель відповісти з них, зазвичай із посиланнями. Оновіть документ, і наступна відповідь використає нову версію.
Fine-tuning. Ви готуєте набір вхідних прикладів з ідеальними виходами й навчаєте на них модель. Хостингові постачальники пропонують донавчання деяких своїх моделей; з відкритими моделями ви самі навчаєте адаптер на кшталт LoRA і хостите результат. Навчена модель потім відповідає у вивчений спосіб без показу прикладів щоразу.
Що вам підходить? Тест із п'яти запитань
Дайте відповідь на п'ять запитань про функцію, яку плануєте:
- Чи залежить відповідь від фактів із ваших документів чи баз даних? Якщо так, вам потрібен пошук того чи іншого виду.
- Чи змінюються ці факти частіше, ніж раз на кілька місяців? Якщо так, донавчання на них застаріє. RAG.
- Чи мають різні користувачі право бачити різні документи? Якщо так, RAG із фільтрами прав. Донавчена модель не може забути вибірково.
- Чи проблема в тому, як модель пише чи вирішує, а факти вже є в промпті? Якщо так, спершу спробуйте промпт із прикладами, потім fine-tuning.
- Чи є у вас щонайменше кілька сотень перевірених прикладів ідеального виходу? Якщо ні, fine-tuning поки не варіант, хоч би яка була проблема.
Якщо ви відповіли «так» на 1, 2 чи 3, починайте з RAG. Якщо «так» лише на 4 і також на 5, донавчання стає кандидатом. Якщо на 4 «так», а прикладів немає, робота починається зі збору прикладів.
Десять бізнес-сценаріїв і що їм потрібно
| Сценарій | Типова відповідь | Чому |
|---|---|---|
| Бот підтримки над статтями довідки й політиками | RAG | Вміст змінюється, відповідям потрібні цитати |
| Внутрішній асистент зі знань для співробітників | RAG із правами доступу | Доступ різний за відділами |
| Асистент продажів, що відповідає з специфікацій і прайс-листів | RAG | Специфікації й ціни змінюються |
| Перегляд договорів чи документів за вашими правилами | Промпт плюс пошук набору правил | Правила змінюються, рецензентам потрібне джерело |
| Класифікація заявок чи листів у ваші категорії | Спершу промпт, fine-tuning при великому обсязі | Мала донавчена модель може бути дешевшою за одиницю |
| Витяг у фіксований формат JSON | Промпт зі схемою, fine-tuning рідко | Функцій структурованого виводу зазвичай вистачає |
| Письмо у суворому голосі бренду в багатьох текстах | Промпт із прикладами, потім fine-tuning | Стиль це поведінка, а не знання |
| Персона, що пише як одна конкретна людина | Fine-tuning плюс RAG-пам'ять | Голос від навчання, факти від пошуку |
| Предметна мова, яку базова модель опрацьовує погано | Fine-tuning, часто відкритої моделі | Словник і закономірності, виміряні на тестовому наборі |
| Відповіді з живих даних, як-от замовлення чи залишки | Виклики вашого API | Дані лежать у системі, а не в документах |
Останній рядок важливий, бо його часто пропускають. Коли відповідь міститься в базі даних, ні RAG над документами, ні fine-tuning не є правильним інструментом. Модель має викликати ваш API, як це робить ШІ-агент.
Скільки коштують RAG і fine-tuning?
Вартість створення залежить здебільшого від ваших даних та інтеграцій, а вартість роботи від обсягу й хостингу. Таблиця порівнює типові профілі для однієї бізнес-функції.
| RAG | Fine-tuning хостингової моделі | Fine-tuning відкритої моделі | |
|---|---|---|---|
| Перша версія, у нас | Від 10 000 USD | Зазвичай частина більшого проєкту | Зазвичай частина складного ШІ-продукту |
| Робота з даними | Розбір, поділ на фрагменти, права доступу, тестові запитання | Сотні чи тисячі перевірених прикладів | Те саме плюс налаштування навчання |
| Вартість навчання | Немає | За токен навчання, для вузького завдання зазвичай скромна | Час GPU, часто десятки або кілька сотень доларів за запуск для моделі 7B-14B із LoRA |
| Вартість роботи | Токени API моделі плюс векторний індекс, часто у вашому наявному PostgreSQL | Ціна за токен донавченої моделі, часто вища за базову | Хостинг GPU, приблизно 700-3 000 USD на місяць за один GPU, що працює цілодобово |
| Оновлення знань | Переіндексувати документ | Перенавчити | Перенавчити |
| Час до першої версії | 3-6 тижнів | 4-8 тижнів разом із даними | 6-12 тижнів разом із хостингом |
У Lytvynov Production RAG-асистент чи ШІ-чатбот коштує від 10 000 USD, а складні ШІ-продукти, що поєднують fine-tuning, RAG-пам'ять чи власні моделі, зазвичай коштують 60 000-150 000 USD. Типова агенція зі США чи Великої Британії за такий самий обсяг просить приблизно в 2,5-4 рази більше. Для українського замовника це означає, що розробка в Україні дає той самий результат за помітно меншу суму.
Дані, потрібні кожному підходу
Для RAG потрібні самі документи у вигляді, який парсер може прочитати, правила прав, що визначають, хто що може бачити, і від 50 до 200 реальних запитань із правильною відповіддю та джерелом. Цей набір запитань найцінніший актив проєкту: він показує, чи знаходить пошук потрібний фрагмент і чи відповідь лишається вірною йому.
Для fine-tuning потрібні приклади точного входу й точного ідеального виходу, перевірені кимось, хто знає предметну галузь. Типові джерела: минулі заявки з фінальним розв'язанням, документи, які ваша команда писала вручну, або класифікації, які співробітники зробили за останній рік. Закладіть час на очищення: видалення дублів, виправлення хибних міток і відсів прикладів із персональними даними, на яких не слід навчати. Про безпеку даних докладніше в посібнику про конфіденційні дані та ШІ.
Коли достатньо промпта?
Частіше, ніж чекають команди. Сучасні моделі добре виконують докладні інструкції, кілька розібраних прикладів і потрібну схему виводу. Перед fine-tuning ми пробуємо на тестовому наборі три речі:
- Чітка інструкція з виписаними правилами, зокрема що робити, коли модель не впевнена.
- П'ять-двадцять прикладів ідеальних виходів у промпті, закешованих, щоб повторні виклики коштували мало.
- Структурований вивід зі схемою JSON для всього, що читатиме машина.
Якщо цього досить для цільової точності, fine-tuning додасть вартість без користі. Якщо прогалина лишається і стосується стабільності чи стилю, донавчання варто перевірити. Якщо прогалина в браку фактів, виправлення це пошук.
Коли має сенс поєднувати обидва підходи
Коли продукту потрібні і голос, і факти. Яскравий приклад із нашої роботи: ШІ-компаньйон, створений для американського стартапу. Адаптери LoRA, навчені на повідомленнях однієї людини, дають відповіді в її манері письма, а RAG-пам'ять із графом фактів постачає те, що вона справді казала й знала. Чат використовує той шар, що вже готовий, тож розмова можлива ще до завершення навчання. Fine-tuning несе те, як людина пише, а пошук те, що вона говорила. Докладніше про цей проєкт: AI Grief Companion.
Поєднання також має сенс при великому обсязі. Мала донавчена модель може класифікувати чи маршрутизувати запити за частку вартості великої моделі, а конвеєр RAG відповідає на запити, що потребують знань.
Типові помилки
- Fine-tuning, щоб додати знання. Модель вчить стиль ваших документів і все одно вигадує деталі. Це виправляє пошук, а не додаткове навчання.
- RAG без тестового набору. Ніхто не може сказати, чи зміна поділу на фрагменти чи ранжування покращила відповіді, чи погіршила.
- Ігнорування прав доступу. Асистент, що віддає фрагмент із кадрового документа не тій людині, це інцидент безпеки.
- Fine-tuning на неперевірених даних. Модель відтворює помилки ваших минулих заявок так само вірно, як і добрі відповіді.
- Вибір за модою. Правильний підхід той, що проходить ваш тестовий набір за прийнятної вартості відповіді.
Як ми вирішуємо разом із клієнтами
Ми компанія з розробки програмного забезпечення, заснована у 2019 році, яка створює ШІ-функції, SaaS-продукти та внутрішні системи для компаній в Україні, США, Великій Британії та ЄС. Наш власний конструктор резюме з ШІ генерує текст для 50 000 активних користувачів на місяць, і ми створювали продукти, що поєднують LoRA-донавчання з RAG-пам'яттю.
Рішення починається з ваших даних і набору реальних запитань чи завдань. Ми перевіряємо на цьому наборі промпти, пошук і, де це виправдано, fine-tuning та рекомендуємо найдешевший варіант, що досягає цільової точності. Фіксовану ціну ви отримуєте після короткого дзвінка. Дивіться нашу послугу розробка RAG, щоб побачити, як ми будуємо системи пошуку, що лишаються точними у продакшені, а також розробку генеративного ШІ.