Что нужно для интеграции ChatGPT или Claude в приложение?

Интеграция ChatGPT или Claude в приложение означает добавить бэкенд-сервис, который отправляет тщательно построенные промпты в API большой языковой модели (LLM), опирает ответы на ваши собственные данные и возвращает результаты, которым пользователи могут доверять. Сам вызов API занимает несколько строк кода. Настоящая работа заключается в выборе правильного сценария, подготовке данных, проектировании промптов, добавлении ограничений, измерении качества и удержании затрат в предсказуемых рамках.

Это руководство описывает шаги, которыми мы в Lytvynov Production добавляем функции на LLM в существующий SaaS-продукт. Оно написано для CTO и владельцев продукта, которые хотят понимать решения до того, как выделять бюджет. Если вы скорее передадите работу команде, посмотрите наши услуги по интеграции ИИ.

Короткая версия процесса:

  1. Выберите один узкий сценарий, который можно измерить.
  2. Выберите модель и провайдера или используйте ChatGPT и Claude вместе за единым интерфейсом.
  3. Спроектируйте промпты и структурированные ответы.
  4. Опирайте ответы на ваши данные через поиск (RAG).
  5. Постройте интерфейс с потоковой передачей ответов.
  6. Добавьте ограничения для входных данных, ответов и действий.
  7. Создайте набор для оценки качества до запуска.
  8. Добавьте наблюдаемость и учет затрат.
  9. Урегулируйте приватность, DPA и соответствие требованиям.
  10. Разворачивайте постепенно за feature flag.

С какого сценария начать?

Начните со сценария, где ошибочный ответ стоит дешево, успех легко измерить, а пользователи уже выполняют эту задачу вручную. Хорошие первые кандидаты: подготовка черновиков, резюмирование, классификация, извлечение данных из документов и ответы на вопросы по вашему справочному центру или базе знаний.

Не начинайте с открытого "ИИ-ассистента, который делает все". Его трудно оценить, трудно защитить и трудно объяснить пользователям. Лучшая первая функция имеет четкие входные данные, четкий ожидаемый результат и метрику: сэкономленное время на задачу, доля черновиков, принятых без правок, количество обращений в поддержку, которые не дошли до человека, или точность извлечения данных на выборке реальных документов.

Наш собственный продукт AI Resume Master хороший пример узкого объема. LLM генерирует, переписывает и улучшает разделы резюме и создает адаптированные сопроводительные письма, а пользователи получают резюме за 3-5 минут. Продукт достиг 50 000 активных пользователей в месяц; см. кейс AI Resume Master. Функция работает, потому что задача ограничена, а пользователь всегда проверяет результат.

Как выбрать между OpenAI, Anthropic Claude и моделями с открытыми весами?

Выбирайте по результатам тестов, а не по бренду. И OpenAI, и Anthropic предлагают топовые модели с длинным контекстом, использованием инструментов и структурированными ответами; модели с открытыми весами (например, семейства Llama, Qwen, Mistral или gpt-oss) дают полный контроль над хостингом и данными ценой собственной инфраструктуры.

Критерий API OpenAI API Anthropic Claude Модели с открытыми весами (собственный хостинг)
Качество на сложных задачах Топовый уровень; несколько уровней моделей Топовый уровень; сильны на длинных документах, текстах и коде Хорошее и растет; на сложных рассуждениях обычно уступают лучшим облачным моделям
Контроль затрат Уровни моделей, кэширование промптов, скидки на пакетную обработку Уровни моделей, кэширование промптов, скидки на пакетную обработку Вы платите за GPU, а не за токены; дешево при стабильно большой нагрузке, дорого во время простоя
Работа с данными Бизнес-данные из API по умолчанию не используются для обучения; DPA; варианты хранения зависят от тарифа Те же принципы; DPA; варианты хранения зависят от тарифа Данные никогда не покидают вашу инфраструктуру
Размер контекста Большие контекстные окна (сотни тысяч токенов в новых моделях) Большие контекстные окна (сотни тысяч токенов, в некоторых моделях больше) На практике обычно меньше; ограничено памятью ваших GPU
Инструменты и структурированные ответы Зрелый function calling и ответы по JSON-схеме Зрелое использование инструментов, структурированные ответы, поддержка MCP Поддерживается многими моделями и стеками для запуска, качество разное
Доступность в облаках Прямое API и Microsoft Azure Прямое API, AWS Bedrock, Google Cloud Vertex AI Любое облако или собственные серверы

Точные цены и названия моделей меняются каждые несколько месяцев, поэтому мы не прописываем их в план жестко. Неизменной остается логика решения. Используйте облачную топовую модель, когда качество важнее всего, а объем умеренный. Используйте меньшую облачную модель для простых шагов на больших объемах. Рассмотрите модели с открытыми весами, когда данные не могут покидать вашу среду, когда нужно глубокое дообучение или когда стабильный объем делает GPU дешевле токенов.

Что бы вы ни выбрали, спрячьте провайдера за собственным интерфейсом: один сервис, который принимает задачу, версию промпта и параметры и возвращает типизированный результат. Это уменьшает зависимость от поставщика и превращает A/B-тесты между моделями в изменение конфигурации.

Можно ли использовать ChatGPT и Claude вместе в одном продукте?

Да. Совместное использование ChatGPT (API OpenAI) и Claude (API Anthropic) в одном продукте распространенная схема в продакшене, и она простая, когда оба провайдера стоят за тем же внутренним интерфейсом, описанным выше. Ваш код запрашивает задачу, а небольшой слой маршрутизации решает, какой провайдер и какая модель ее обработает.

Три паттерна покрывают большинство продуктов:

Паттерн Как работает Когда подходит
Маршрутизация по задаче У каждого типа задачи своя модель: например, Claude для длинных документов и тщательного письма, малая модель OpenAI для классификации на больших объемах Продукты с несколькими функциями ИИ разной сложности
Резерв Если основной провайдер не отвечает вовремя или возвращает ошибку, тот же запрос идет к другому провайдеру с соответствующей версией промпта Функции, на которые пользователи полагаются каждый день
Сравнение и проверка Отвечают обе модели, или одна модель проверяет результат другой по правилам до того, как его увидит человек Ответы с высокими ставками, например договоры, медицинские или финансовые тексты

Промпты обычно требуют небольших изменений под каждого провайдера, поэтому храните версии промптов отдельно для каждой модели и прогоняйте один и тот же набор для оценки на обеих. Чтобы увидеть, сколько будут стоить два провайдера на вашем трафике, попробуйте наш калькулятор стоимости LLM API; прямое сравнение двух API есть в материале Claude или OpenAI API.

Как проектировать промпты для функции в продакшене?

Относитесь к промптам как к коду: версионируйте, тестируйте и проверяйте изменения. Продакшен-промпт имеет стабильную системную инструкцию (роль, правила, тон, что делать в случае неуверенности), четко отделенный раздел контекста, ввод пользователя и явный формат ответа.

Практические правила, которые экономят время:

  • Требуйте структурированный ответ. Используйте JSON-схему или описания инструментов, чтобы ваш код получал типизированные поля, а не произвольный текст, который приходится разбирать.
  • Отделяйте инструкции от данных. Размещайте контент от пользователя и найденные документы в четко обозначенных разделах, чтобы модель не воспринимала их как инструкции.
  • Давайте примеры. Два-три коротких примера входных данных и ответов обычно работают лучше длинного абзаца правил.
  • Храните промпты вне релиза кода. Промпты в базе данных с историей версий позволяют настраивать тон или правила без деплоя. Мы использовали этот подход в проекте AI Grief Companion, где промпты хранятся в базе данных с историей версий.

Когда нужен RAG и какое его место в системе?

Генерация с дополнением поиском (RAG) нужна каждый раз, когда ответ зависит от данных, которых модель не видела: вашей документации, договоров, тикетов, каталога товаров или записей о клиентах. RAG в момент запроса находит самые релевантные фрагменты и добавляет их в промпт, поэтому модель отвечает из ваших источников и может на них ссылаться.

Минимальная настройка RAG состоит из задачи загрузки, которая делит документы на фрагменты и сохраняет эмбеддинги, шага поиска (в идеале гибридного, по ключевым словам и векторам, с переранжированием) и промпта, который содержит лучшие фрагменты с идентификаторами источников. Права доступа важны: фильтруйте результаты по тому, что разрешено видеть текущему пользователю, до того, как что-то попадет в модель. Наше руководство по внедрению RAG подробно описывает разбиение на фрагменты, векторные базы данных и оценку, а страница разработки RAG объясняет, как мы это реализуем.

Как построить хороший интерфейс с потоковой передачей?

Передавайте токены пользователю потоково, чтобы первые слова появлялись примерно через секунду, а не после ожидания полного ответа. Оба основных API поддерживают стриминг; ваш бэкенд пересылает поток в браузер через Server-Sent Events или WebSockets.

Хороший интерфейс для LLM также включает:

  • Заметную кнопку "стоп" и возможность сгенерировать ответ заново.
  • Ссылки на источники рядом с ответами, которые опираются на ваши данные.
  • Понятные состояния "думает", "ищет" и "вызывает инструмент" в многошаговых сценариях.
  • Шаг редактирования перед тем, как что-то будет отправлено, сохранено или опубликовано от имени пользователя.
  • Элемент обратной связи (палец вверх или вниз с необязательным комментарием), который пополняет ваш набор для оценки.

Если вы создаете разговорный интерфейс, страница разработки чат-ботов на ИИ описывает передачу разговора живым операторам и проектирование диалогов.

Какие ограничения нужны функции на LLM?

Функции на LLM нужны ограничения в трех точках: перед моделью (входные данные), после модели (ответ) и вокруг любого действия, которое модель может запустить. Цель: сделать сбои редкими, заметными и дешевыми.

Уровень Что проверять Типичная реализация
Входные данные Попытки prompt injection, оскорбительный контент, лимиты размера, персональные данные, которые не стоит отправлять Лимиты длины, модерационный endpoint, маскирование персональных данных, отделение непроверенного текста
Поиск Права пользователя, устаревшие или противоречивые источники Фильтры ACL в поисковом запросе, метаданные актуальности
Ответ Соответствие схеме, запрещенный контент, неподтвержденные утверждения Проверка по схеме, модерация, правило "отвечай только из контекста", проверка ссылок
Действия Необратимые или дорогие операции Разрешенный список инструментов, права для каждого инструмента, подтверждение человеком для записи, лимиты запросов

Никогда не вызывайте API провайдера из браузера и никогда не давайте модели учетных данных с более широкими правами, чем у текущего пользователя. Если ваша функция позволяет модели вызывать внутренние API, MCP-сервер с ограниченными инструментами это чистый способ открыть к ним доступ.

Как дать ChatGPT или Claude выполнять действия в вашем приложении?

Чтобы ChatGPT или Claude выполняли реальные действия в вашем приложении, дайте модели инструменты вместо доступа к базе данных. Инструмент это именованное действие с типизированными входными данными, например "find_order", "create_draft_invoice" или "update_ticket_status". Модель решает, когда вызвать инструмент, ваш бэкенд проверяет, что текущему пользователю это разрешено, выполняет действие и возвращает результат модели.

Правила, которые мы применяем к каждому инструменту:

  1. Начинайте с инструментов только на чтение. Сначала поиск и просмотр; действия на запись только после того, как набор для оценки пройден.
  2. Используйте права пользователя, а не сервисного аккаунта. Модель никогда не может сделать больше, чем человек, который ею пользуется.
  3. Подтверждение перед изменением данных. Модель готовит изменение, пользователь согласует его в интерфейсе.
  4. Логируйте каждый вызов. Какой инструмент, какие входные данные, какой пользователь, какой результат.

Если вы хотите, чтобы внешние ассистенты (приложение ChatGPT, Claude Desktop или собственные агенты ваших клиентов) работали с вашим продуктом, откройте те же инструменты через MCP-сервер. Мы создаем такие серверы в рамках нашей разработки MCP-серверов.

Как оценивать качество до запуска и после него?

Создайте набор для оценки до запуска: 50-200 реальных входных данных с ожидаемыми ответами или критериями оценки, которые покрывают типичные случаи, граничные случаи и известные сценарии сбоев. Прогоняйте его при каждом изменении промпта, модели или поиска и не выпускайте релиз, если оценки падают.

Оценка обычно сочетает три метода. Точные проверки работают для структурированных ответов (совпала ли извлеченная сумма счета?). Оценка по рубрике другой моделью с выборочной проверкой человеком работает для свободного текста (верен ли ответ источникам, полон ли, в правильном ли тоне?). Сигналы из продакшена, например доля принятых ответов, правки, оценки "палец вниз" и эскалации, показывают то, что пропустил тестовый набор. Каждую неделю добавляйте плохие примеры из продакшена обратно в набор для оценки.

Что логировать и мониторить?

Логируйте каждый вызов LLM с версией промпта, моделью, количеством входных и выходных токенов, задержкой, стоимостью, идентификаторами найденных документов, вызовами инструментов и отзывами пользователей. Без этих данных вы не сможете разобрать плохой ответ, объяснить скачок затрат или доказать улучшение.

Дашборды, которые стоит иметь с первого дня: затраты в день и на функцию, затраты на активного пользователя, задержка p50 и p95, доля ошибок и таймаутов по провайдерам и сигналы качества из отзывов пользователей. Маскируйте персональные данные в логах и применяйте те же правила хранения, что и для остального продукта. Инструменты бывают от общих стеков наблюдаемости до специализированных платформ трассировки LLM; выбор важен меньше, чем наличие трассировок, привязанных к версиям промптов.

Как держать затраты на LLM под контролем?

Контролируйте затраты четырьмя рычагами: кэширование промптов, маршрутизация моделей, лимиты контекста и квоты на пользователя. Вместе они обычно значат больше, чем заявленная цена за токен.

  • Кэширование промптов. Держите длинную стабильную часть промпта (инструкции, примеры, общие документы) в начале, чтобы провайдер мог ее кэшировать; кэшированные входные данные в обоих основных API оплачиваются с большой скидкой.
  • Маршрутизация моделей. Передавайте простые шаги (классификация, извлечение данных, короткие переписывания) малой модели, а большую оставляйте для сложных запросов.
  • Дисциплина контекста. Находите 5-10 хороших фрагментов вместо того, чтобы впихивать в каждый вызов целые документы.
  • Пакетная обработка. Используйте пакетные API для неинтерактивных задач, например ночных сводок или массовой разметки.
  • Квоты и лимиты. Устанавливайте лимиты на пользователя и на клиента (tenant), чтобы один аккаунт не мог сгенерировать неожиданный счет.

Типичные рыночные диапазоны, которые мы видим в 2026 году: внутренний инструмент с небольшим трафиком стоит десятки долларов в месяц, а ассистент для клиентов с интенсивным использованием может стоить несколько тысяч долларов в месяц. Закладывайте стоимость запроса в свою модель ценообразования как можно раньше.

Как насчет приватности, DPA и соответствия требованиям?

Прежде чем отправлять данные клиентов любому провайдеру моделей, подпишите его соглашение об обработке данных, подтвердите политику хранения для вашего тарифа и обновите собственную политику конфиденциальности и перечень субпроцессоров. Для регулируемых данных рассмотрите регион провайдера или облачное развертывание, которое соответствует вашим обязательствам, или модель с открытыми весами на собственном хостинге.

Отправляйте минимум: убирайте идентификаторы, которые модели не нужны, и шифруйте сохраненные разговоры. На платформе AI Grief Companion мы шифруем каждое сообщение во время загрузки отдельным ключом AES-256-GCM под конвертным ключом KMS и поддерживаем удаление всех данных пользователя одним кликом, потому что продукт работает с очень личными материалами. Большинству SaaS-продуктов такой уровень не нужен, но им нужен четкий ответ на вопрос "куда идут данные наших клиентов?".

Как разворачивать функцию на LLM?

Разворачивайте поэтапно: сначала внутренние пользователи, потом небольшой процент клиентов за feature flag, потом все. На каждом этапе сравнивайте качество и затраты с целями, которые вы поставили на первом шаге.

Типичный график для одной четко очерченной функции:

Неделя Работа
1 Оценка объема, метрики сценария, доступ к данным, тест провайдеров на реальных примерах
2-3 Проектирование промптов, RAG или конвейер данных, абстракция над провайдером
4-5 Интерфейс со стримингом, ограничения, набор для оценки, логирование
6 Внутренняя бета, устранение сбоев, оптимизация затрат
7-8 Постепенное развертывание для клиентов, мониторинг, передача

Запланируйте запасной вариант на случай сбоев провайдера (второй провайдер или корректное состояние "попробуйте еще раз") и оставьте feature flag после запуска, чтобы выключить функцию за считанные секунды.

Как мы работаем над интеграциями LLM

В Lytvynov Production мы даем фиксированную цену после короткого разговора для оценки объема; у нас функция ИИ для существующего продукта стоит от 10 000 USD. На первом этапе мы тестируем две-три модели на ваших реальных данных и определяем набор для оценки. Наш бэкенд обычно на PHP/Symfony, и мы интегрируем API OpenAI и Anthropic Claude, RAG и MCP-серверы в существующие продукты. Для полного цикла работ посмотрите наши услуги по интеграции ИИ; если функция ИИ является частью более крупной системы, наша команда по разработке программного обеспечения на заказ создаст и то, и другое. Если хотите получить независимое мнение о своем плане, запишитесь на звонок.

Наши гайды об ИИ и разработке вверху вашего Google?

Добавьте Lytvynov Production как предпочтительный источник, и Google будет показывать наши новые гайды об ИИ-агентах, стоимости MVP и заказной разработке выше в выдаче.

Кейсы

Частые вопросы

В 2026 году оба пригодны для продакшена. Честный ответ: протестируйте оба на 50-100 реальных примерах из вашего продукта и сравните качество, задержку и стоимость на задачу. Многие команды в итоге используют больше одной модели: сильную для сложных рассуждений или длинных документов и меньшую, более дешевую для классификации и маршрутизации. Добавьте в код тонкий слой абстракции над провайдером, чтобы переход позже был изменением конфигурации, а не переписыванием.

По умолчанию оба провайдера заявляют, что бизнес-данные из API не используются для обучения их моделей, и оба предлагают соглашения об обработке данных (DPA). Сроки хранения и варианты с нулевым хранением данных зависят от тарифа и соответствия условиям, поэтому прочитайте актуальные условия и подпишите DPA до того, как отправлять данные клиентов. Если данные должны оставаться в определенном облаке или регионе, оба семейства моделей доступны также через крупные облачные платформы.

Одна четко очерченная функция, например резюмирование, подготовка черновиков или ассистент поддержки на основе вашего справочного центра, обычно требует 4-8 недель от оценки объема до продакшена, включая оценку качества и мониторинг. Функции, которым нужен поиск по неструктурированным внутренним данным, права доступа или действия в других системах, занимают больше, часто 8-14 недель. Большая часть времени уходит на подготовку данных, оценку и граничные случаи, а не на вызов API.

Полностью убрать галлюцинации невозможно, но можно сделать их редкими и заметными. Опирайте ответы на найденные документы, давайте модели инструкцию отвечать только из этого контекста и говорить, когда она не знает, требуйте ссылок на источники, проверяйте структурированные ответы по схеме и прогоняйте набор для оценки при каждом изменении промпта или модели. Для действий с высокими ставками оставляйте шаг подтверждения человеком.

Затраты зависят от количества запросов, токенов на запрос и уровня модели. Типичные рыночные диапазоны, которые мы видим в 2026 году: от десятков долларов в месяц для внутреннего инструмента с небольшим трафиком до нескольких тысяч долларов в месяц для ассистента для клиентов с большим трафиком. Кэширование промптов, меньшие модели для простых шагов и ограничение размера контекста обычно существенно уменьшают счет без потери качества.

Да, и многие продукты в продакшене так и делают. Спрячьте обоих провайдеров за одним внутренним интерфейсом и направляйте каждую задачу к модели, которая делает ее лучше всего или дешевле всего, например Claude для длинных документов и малую модель OpenAI для классификации на больших объемах. Та же схема дает резерв, когда у одного из провайдеров сбой. Держите один набор для оценки, чтобы сравнивать обе модели на одних и тех же реальных примерах.

Используйте вызов инструментов (tool calling): вы описываете небольшой набор действий (поиск заказов, создание черновика, обновление статуса) как инструменты, модель просит вызвать один из них, а ваш бэкенд проверяет права пользователя и выполняет действие. Действия на чтение могут выполняться сразу, а все, что меняет данные, должно проходить шаг подтверждения. Чтобы внешние ассистенты, например ChatGPT или Claude, могли работать с вашим продуктом, откройте те же инструменты через MCP-сервер.

Давайте начнем ваш проект
Записаться на звонок