RAG чи fine-tuning: що вам потрібно?

Використовуйте RAG, коли модель має відповідати з ваших документів чи даних, особливо якщо ці знання змінюються або різні користувачі мають право бачити різні частини. Використовуйте fine-tuning, коли потрібні стабільний стиль, формат чи вузька поведінка, яких промптом надійно не досягти, і є сотні чи тисячі добрих прикладів. Більшості бізнес-чатботів і асистентів потрібен RAG і взагалі не потрібен fine-tuning. Перед обома спробуйте добре написаний промпт із кількома прикладами: він розв'язує значну частку випадків, у яких команди вважають, що їм потрібне донавчання.

Їх часто подають як альтернативи, але на практиці вони розв'язують різні задачі. RAG, скорочення від генерації з доповненням пошуком, змінює те, що модель бачить для однієї відповіді. Fine-tuning змінює те, як модель поводиться на кожну відповідь. Наш посібник із впровадження RAG пояснює, як будується система пошуку, а цей посібник про рішення, що передує цьому.

Для українського бізнесу питання часто звучить так: чи треба «навчити ШІ на наших документах», тобто на прайсах, регламентах, інструкціях і листуванні. У більшості таких випадків відповідь RAG, а не навчання моделі.

Як працюють RAG і fine-tuning: по абзацу на кожен

RAG. Ваші документи ділять на фрагменти й індексують. Коли користувач ставить запитання, система знаходить найрелевантніші фрагменти, додає їх у промпт і просить модель відповісти з них, зазвичай із посиланнями. Оновіть документ, і наступна відповідь використає нову версію.

Fine-tuning. Ви готуєте набір вхідних прикладів з ідеальними виходами й навчаєте на них модель. Хостингові постачальники пропонують донавчання деяких своїх моделей; з відкритими моделями ви самі навчаєте адаптер на кшталт LoRA і хостите результат. Навчена модель потім відповідає у вивчений спосіб без показу прикладів щоразу.

Що вам підходить? Тест із п'яти запитань

Дайте відповідь на п'ять запитань про функцію, яку плануєте:

  1. Чи залежить відповідь від фактів із ваших документів чи баз даних? Якщо так, вам потрібен пошук того чи іншого виду.
  2. Чи змінюються ці факти частіше, ніж раз на кілька місяців? Якщо так, донавчання на них застаріє. RAG.
  3. Чи мають різні користувачі право бачити різні документи? Якщо так, RAG із фільтрами прав. Донавчена модель не може забути вибірково.
  4. Чи проблема в тому, як модель пише чи вирішує, а факти вже є в промпті? Якщо так, спершу спробуйте промпт із прикладами, потім fine-tuning.
  5. Чи є у вас щонайменше кілька сотень перевірених прикладів ідеального виходу? Якщо ні, fine-tuning поки не варіант, хоч би яка була проблема.

Якщо ви відповіли «так» на 1, 2 чи 3, починайте з RAG. Якщо «так» лише на 4 і також на 5, донавчання стає кандидатом. Якщо на 4 «так», а прикладів немає, робота починається зі збору прикладів.

Десять бізнес-сценаріїв і що їм потрібно

Сценарій Типова відповідь Чому
Бот підтримки над статтями довідки й політиками RAG Вміст змінюється, відповідям потрібні цитати
Внутрішній асистент зі знань для співробітників RAG із правами доступу Доступ різний за відділами
Асистент продажів, що відповідає з специфікацій і прайс-листів RAG Специфікації й ціни змінюються
Перегляд договорів чи документів за вашими правилами Промпт плюс пошук набору правил Правила змінюються, рецензентам потрібне джерело
Класифікація заявок чи листів у ваші категорії Спершу промпт, fine-tuning при великому обсязі Мала донавчена модель може бути дешевшою за одиницю
Витяг у фіксований формат JSON Промпт зі схемою, fine-tuning рідко Функцій структурованого виводу зазвичай вистачає
Письмо у суворому голосі бренду в багатьох текстах Промпт із прикладами, потім fine-tuning Стиль це поведінка, а не знання
Персона, що пише як одна конкретна людина Fine-tuning плюс RAG-пам'ять Голос від навчання, факти від пошуку
Предметна мова, яку базова модель опрацьовує погано Fine-tuning, часто відкритої моделі Словник і закономірності, виміряні на тестовому наборі
Відповіді з живих даних, як-от замовлення чи залишки Виклики вашого API Дані лежать у системі, а не в документах

Останній рядок важливий, бо його часто пропускають. Коли відповідь міститься в базі даних, ні RAG над документами, ні fine-tuning не є правильним інструментом. Модель має викликати ваш API, як це робить ШІ-агент.

Скільки коштують RAG і fine-tuning?

Вартість створення залежить здебільшого від ваших даних та інтеграцій, а вартість роботи від обсягу й хостингу. Таблиця порівнює типові профілі для однієї бізнес-функції.

RAG Fine-tuning хостингової моделі Fine-tuning відкритої моделі
Перша версія, у нас Від 10 000 USD Зазвичай частина більшого проєкту Зазвичай частина складного ШІ-продукту
Робота з даними Розбір, поділ на фрагменти, права доступу, тестові запитання Сотні чи тисячі перевірених прикладів Те саме плюс налаштування навчання
Вартість навчання Немає За токен навчання, для вузького завдання зазвичай скромна Час GPU, часто десятки або кілька сотень доларів за запуск для моделі 7B-14B із LoRA
Вартість роботи Токени API моделі плюс векторний індекс, часто у вашому наявному PostgreSQL Ціна за токен донавченої моделі, часто вища за базову Хостинг GPU, приблизно 700-3 000 USD на місяць за один GPU, що працює цілодобово
Оновлення знань Переіндексувати документ Перенавчити Перенавчити
Час до першої версії 3-6 тижнів 4-8 тижнів разом із даними 6-12 тижнів разом із хостингом

У Lytvynov Production RAG-асистент чи ШІ-чатбот коштує від 10 000 USD, а складні ШІ-продукти, що поєднують fine-tuning, RAG-пам'ять чи власні моделі, зазвичай коштують 60 000-150 000 USD. Типова агенція зі США чи Великої Британії за такий самий обсяг просить приблизно в 2,5-4 рази більше. Для українського замовника це означає, що розробка в Україні дає той самий результат за помітно меншу суму.

Дані, потрібні кожному підходу

Для RAG потрібні самі документи у вигляді, який парсер може прочитати, правила прав, що визначають, хто що може бачити, і від 50 до 200 реальних запитань із правильною відповіддю та джерелом. Цей набір запитань найцінніший актив проєкту: він показує, чи знаходить пошук потрібний фрагмент і чи відповідь лишається вірною йому.

Для fine-tuning потрібні приклади точного входу й точного ідеального виходу, перевірені кимось, хто знає предметну галузь. Типові джерела: минулі заявки з фінальним розв'язанням, документи, які ваша команда писала вручну, або класифікації, які співробітники зробили за останній рік. Закладіть час на очищення: видалення дублів, виправлення хибних міток і відсів прикладів із персональними даними, на яких не слід навчати. Про безпеку даних докладніше в посібнику про конфіденційні дані та ШІ.

Коли достатньо промпта?

Частіше, ніж чекають команди. Сучасні моделі добре виконують докладні інструкції, кілька розібраних прикладів і потрібну схему виводу. Перед fine-tuning ми пробуємо на тестовому наборі три речі:

  1. Чітка інструкція з виписаними правилами, зокрема що робити, коли модель не впевнена.
  2. П'ять-двадцять прикладів ідеальних виходів у промпті, закешованих, щоб повторні виклики коштували мало.
  3. Структурований вивід зі схемою JSON для всього, що читатиме машина.

Якщо цього досить для цільової точності, fine-tuning додасть вартість без користі. Якщо прогалина лишається і стосується стабільності чи стилю, донавчання варто перевірити. Якщо прогалина в браку фактів, виправлення це пошук.

Коли має сенс поєднувати обидва підходи

Коли продукту потрібні і голос, і факти. Яскравий приклад із нашої роботи: ШІ-компаньйон, створений для американського стартапу. Адаптери LoRA, навчені на повідомленнях однієї людини, дають відповіді в її манері письма, а RAG-пам'ять із графом фактів постачає те, що вона справді казала й знала. Чат використовує той шар, що вже готовий, тож розмова можлива ще до завершення навчання. Fine-tuning несе те, як людина пише, а пошук те, що вона говорила. Докладніше про цей проєкт: AI Grief Companion.

Поєднання також має сенс при великому обсязі. Мала донавчена модель може класифікувати чи маршрутизувати запити за частку вартості великої моделі, а конвеєр RAG відповідає на запити, що потребують знань.

Типові помилки

  • Fine-tuning, щоб додати знання. Модель вчить стиль ваших документів і все одно вигадує деталі. Це виправляє пошук, а не додаткове навчання.
  • RAG без тестового набору. Ніхто не може сказати, чи зміна поділу на фрагменти чи ранжування покращила відповіді, чи погіршила.
  • Ігнорування прав доступу. Асистент, що віддає фрагмент із кадрового документа не тій людині, це інцидент безпеки.
  • Fine-tuning на неперевірених даних. Модель відтворює помилки ваших минулих заявок так само вірно, як і добрі відповіді.
  • Вибір за модою. Правильний підхід той, що проходить ваш тестовий набір за прийнятної вартості відповіді.

Як ми вирішуємо разом із клієнтами

Ми компанія з розробки програмного забезпечення, заснована у 2019 році, яка створює ШІ-функції, SaaS-продукти та внутрішні системи для компаній в Україні, США, Великій Британії та ЄС. Наш власний конструктор резюме з ШІ генерує текст для 50 000 активних користувачів на місяць, і ми створювали продукти, що поєднують LoRA-донавчання з RAG-пам'яттю.

Рішення починається з ваших даних і набору реальних запитань чи завдань. Ми перевіряємо на цьому наборі промпти, пошук і, де це виправдано, fine-tuning та рекомендуємо найдешевший варіант, що досягає цільової точності. Фіксовану ціну ви отримуєте після короткого дзвінка. Дивіться нашу послугу розробка RAG, щоб побачити, як ми будуємо системи пошуку, що лишаються точними у продакшені, а також розробку генеративного ШІ.

Наші гайди про ШІ та розробку вгорі вашого Google?

Додайте Lytvynov Production як бажане джерело, і Google показуватиме наші нові гайди про ШІ-агентів, вартість MVP і розробку на замовлення вище у видачі.

Кейси

Часті запитання

RAG дає моделі потрібну інформацію в момент запитання: система шукає у ваших документах і вставляє релевантні фрагменти в промпт. Fine-tuning змінює саму модель, навчаючи її на прикладах, тож вона інакше поводиться на кожен запит. RAG змінює те, що модель знає для цієї відповіді, а fine-tuning змінює те, як модель відповідає загалом.

Для першої версії зазвичай так. RAG-асистента над документами компанії у нас можна створити від 10 000 USD, і він працює на поширеному API моделі та векторному індексі, часто у вашому наявному PostgreSQL. Fine-tuning додає підготовку даних, запуски навчання, оцінювання і, для відкритих моделей, хостинг донавченої моделі на GPU, який може коштувати від кількох сотень до кількох тисяч доларів на місяць, якщо працює цілодобово.

Погано. Fine-tuning добре вчить закономірностям, як-от тон, формат і рішення, і ненадійно зберігає факти. Донавчена модель усе одно може вигадувати деталі, не може послатися на джерело і потребує перенавчання щоразу, коли факти змінюються. Знання кладіть у RAG, а поведінку в промпти чи fine-tuning.

Для вузького завдання на кшталт класифікації чи фіксованого формату виводу може вистачити кількох сотень ретельно перевірених прикладів. Для стабільного стилю письма чи поведінки в конкретній галузі плануйте від однієї до кількох тисяч прикладів. Якість важливіша за обсяг: 500 правильних прикладів кращі за 5 000 неякісних.

Так, і зрілі продукти часто так і роблять. Пошук постачає актуальні факти, а fine-tuning дає голос чи шаблон рішень. Ми зазвичай спершу будуємо пошук, вимірюємо його і додаємо fine-tuning лише для прогалини, яку тестовий набір показує і яку промпт не закриває.

RAG-чатбот - це чат-асистент, який відповідає з вашого вмісту, як-от статті довідки, політики, дані про продукти чи внутрішні документи: на кожне запитання він шукає в них і цитує використані фрагменти. Це найпоширеніший спосіб створити асистента зі знань компанії чи бота підтримки, який лишається точним, коли документи змінюються.

Почнімо ваш проєкт
Записатися на дзвінок