Обычно к нам приходят с одной из трех ситуаций. Первая: продукт работает, конкуренты уже показывают ИИ-функции, а вы не знаете, с чего начать и готовы ли к этому ваши данные. Вторая: LLM-функцию выпустили несколько месяцев назад, и теперь пользователи жалуются на ответы, счет за модель растет быстрее выручки, а после каждого изменения промпта никто не может сказать, стало лучше или хуже. Третья: продукт быстро собрали с ИИ-ассистентами для программирования, демо убедительное, а реальных пользователей и реальных данных еще не было.
ИИ-аудит отвечает на каждую из них инженерно, на уровне одной ИИ-системы или продукта. Мы читаем код, смотрим данные и логи, считаем стоимость и пишем отчет, по которому ваша команда может действовать уже в следующем спринте.
Стратегией ИИ для всей компании мы это не называем. Если вы хотите сравнить идеи для продаж, поддержки, финансов и операций, вам нужен ИИ-консалтинг. Аудит начинается с кода и данных продукта, который у вас уже работает.
| Вид аудита | Для кого | Главный вопрос |
|---|---|---|
| Аудит уместности ИИ | Продукты, в которых еще нет ИИ-функций | Где в этом продукте место для ИИ и что для этого понадобится? |
| Аудит LLM-функций | Продукты с ИИ-функциями в продакшене | Точен ли наш ИИ, безопасен ли и доступен ли по цене, и как это исправить, если нет? |
| Аудит кода, сгенерированного ИИ | Продукты, созданные в основном с помощью ИИ-инструментов для программирования | Готов ли этот код к реальным пользователям, реальным данным и росту? |
Часто эти виды совмещаются: продукт с первой LLM-функцией, наполовину написанный ассистентом, получает и второй, и третий.
Что мы делаем
-
Где место для ИИ
Сопоставляем пользовательские сценарии, данные и архитектуру с конкретными ИИ-функциями и ранжируем их по ценности, риску и стоимости.
-
Проверка LLM-функций
Тестовый набор из ваших реальных запросов, замер точности, опоры на данные и типичных ошибок.
-
Стоимость моделей
Цена запроса и пользователя, кэширование, маршрутизация между моделями, лимиты против злоупотреблений и зацикливаний.
-
Безопасность ИИ
Пути для prompt injection, данные, которые уходят провайдеру, права при вызове инструментов, ключи.
-
Код, написанный ИИ
Авторизация на каждом эндпоинте, проверка ввода, секреты, запросы на реальных объемах, тесты и откат.
-
Отчет и план
Письменный отчет с доказательствами, реестр рисков и план: что делать первым, что подождет, чего не строить.
Продукт без ИИ: где ему действительно место
Мы ищем места, где люди читают, пишут, ищут, классифицируют или копируют данные между экранами. Это привычные кандидаты для черновиков, выжимок, извлечения данных и поиска. Потом смотрим на данные: где они лежат, в каком формате и какого качества, какие поля персональные или конфиденциальные, хватит ли данных нужной формы для поиска или оценки качества.
Дальше архитектура. Где расположится ИИ-сервис, как он будет вызывать ваши API, как будут передаваться права доступа и что придется переделать в первую очередь. И только потом подход к модели: промпты, поиск по данным (RAG), дообучение или агент с инструментами, плюс два-три семейства моделей, которые стоит протестировать.
На выходе у вас ранжированный список ИИ-функций с ценностью, выполнимостью, риском и ориентировочной стоимостью работы на один запрос, заметки о готовности данных для каждой функции, эскиз архитектуры и диапазон стоимости разработки главных кандидатов. Бывает, что лучший совет звучит как «эту функцию не стройте», и мы пишем это прямо.
ИИ уже работает, но ему не доверяют
Аудит LLM-приложения или отдельных ИИ-функций ищет причины симптомов, а не переписывает все заново. Вот что мы проверяем:
| Направление | Что мы проверяем |
|---|---|
| Качество | Есть ли тестовый набор для оценки? Мы собираем небольшой набор из ваших реальных входных данных и замеряем текущую точность и типичные ошибки. |
| Опора на данные | Берутся ли фактические ответы из ваших данных со ссылками на источники или из памяти модели? Насколько качественный поиск? |
| Промпты | Версионированы ли промпты, протестированы ли и отделены ли от пользовательского ввода? |
| Безопасность | Пути для prompt injection, данные, которые передаются провайдеру, проверка прав при вызове инструментов, обращение с ключами. |
| Стоимость | Стоимость запроса и пользователя, кэширование, маршрутизация между моделями, размер контекста, лимиты против злоупотреблений и зацикливаний. |
| Надежность | Тайм-ауты, повторные попытки, резервные провайдеры, поведение, когда API модели медленный или недоступен. |
| Наблюдаемость | Логи промптов, ответов, количества токенов и ошибок, и смотрит ли их кто-нибудь вообще. |
Самая частая находка простая: промпты живут в коде без истории, и никто не помнит, какая версия давала хорошие ответы. В AI Grief Companion мы с первого дня хранили все промпты в PostgreSQL с историей версий, и тон можно было настраивать из админки без релиза. К такому порядку мы и советуем прийти.
Результат аудита: приоритизированный список исправлений с ожидаемым эффектом, например «добавить кэширование промптов к трем самым крупным вызовам» или «перевести эти ответы на поиск со ссылками на источники». Плюс тестовый набор, который мы собрали и которым вы пользуетесь и после аудита.
Код, написанный ИИ, перед первыми реальными пользователями
С ИИ-ассистентом продукт доходит до убедительного демо за несколько дней. Пробелы вылезают позже: права проверяются в интерфейсе, но не в API, входные данные никто не валидирует, секреты лежат в репозитории, тестов нет, логика дублируется, а запросы к базе не выдерживают реальных объемов.
Мы сами каждый день пишем код с ИИ-агентами, а senior-инженеры отвечают за архитектуру и ревью. Поэтому слабые места такого кода знаем по собственной практике. В аудите ИИ-кода мы проходим:
- безопасность: аутентификацию, авторизацию на каждом эндпоинте, проверку входных данных, секреты, риски зависимостей;
- модель данных и запросы: целостность, миграции, производительность на реалистичных объемах;
- архитектуру: разделение ответственности, дублирование, насколько трудно будет добавить следующую функцию;
- тесты и доставку: покрытие критичных сценариев, CI, развертывание и откат.
Отчет отделяет то, что нужно исправить до запуска, от того, что может подождать, и для каждого пункта дает оценку трудозатрат.
Мы оперируем фактами. Все остальное, сделано это намеренно или нет, продумано или нет, это уже гипотезы, которые нужно отдельно проверять.
Антон Литвинов, основатель Lytvynov Production
Как идет работа
- 30-минутный разговор. Согласовываем, какие виды аудита нужны, какой доступ понадобится, и называем фиксированную цену.
- Доступ и старт. NDA, доступ к репозиторию на чтение, выборки данных, логи и обзор системы вместе с вашим ведущим инженером.
- Анализ, одна-две недели. Проверка кода и данных, тестовый набор для существующих ИИ-функций, анализ стоимости по вашим логам и счетам, а если в объеме есть аудит уместности, быстрые тесты двух-трех моделей.
- Отчет и разбор. Письменный отчет и разговор с вашей командой, где мы проходим выводы и приоритеты.
В целом аудит длится 1-3 недели, в зависимости от размера кодовой базы и количества ИИ-функций, которые уже работают в продакшене.
Отчет пишем на английском. В нем выводы с критичностью, доказательствами и рекомендованными исправлениями; приоритизированный план (что первым, что подождет, чего не строить); оценка трудозатрат на рекомендованные функции или исправления вместе со стоимостью работы ИИ на запрос и в месяц; реестр рисков безопасности, приватности, качества и зависимости от поставщика, каждый со способом снижения. Тестовый набор и скрипты, написанные во время аудита, остаются вам.
Кто смотрит ваш продукт
Senior-инженеры, которые сами строят и поддерживают ИИ-продукты. Чеклистов от сторонних проверяющих здесь нет.
AI Resume Master, наш собственный ИИ-SaaS на OpenAI API, мы сделали примерно за три месяца, и он дошел до 50 000 активных пользователей в месяц. Проблемы стоимости, качества и злоупотреблений, которые появляются только на масштабе, мы видели на своем счете.
Для американского стартапа в сфере grief-tech мы построили AI Grief Companion: прием десяти форматов экспорта чатов, дообучение LoRA, память на RAG и шифрование каждого сообщения отдельным ключом AES-256-GCM уже при приеме. Когда система не могла определить, кто из двух участников чата тот человек, которого помнят, она останавливалась и спрашивала, а не угадывала. Такой тщательности мы ищем, когда проверяем потоки чувствительных данных в чужом продукте.
Наш основной бэкенд-стек PHP и Symfony, на фронтенде React и Next.js. Проверяем также кодовые базы на Node, Python и мобильные приложения. Работаем с OpenAI, Anthropic Claude и открытыми моделями, а MCP-серверы создаем и эксплуатируем в продакшене для собственных систем.
Кейсы
Сколько стоит ИИ-аудит?
Фиксированную цену называем после первого разговора. Она зависит от размера кодовой базы, видов аудита в объеме и количества ИИ-функций, которые уже работают. Если вы продолжаете с нами, аудит засчитывается как этап оценки объема для разработки, и за тот же анализ вы не платите дважды.
ИИ-функции для существующего продукта стоят от 10 000 USD. Первую функцию или proof of concept можно сделать за один AI Sprint с фиксированной ценой 10 000 USD за 4 недели.
Lytvynov Production основана в 2019 году в Днепре, Украина.
Следующий шаг
Расскажите, что делает продукт, на каком стеке он работает и использует ли уже ИИ. За 30 минут мы скажем, какой аудит подходит, какой доступ нужен и сколько это будет стоить. Напишите нам, чтобы договориться о звонке.
Как мы работаем
-
30-минутный разговор
Согласовываем виды аудита, нужный доступ и фиксированную цену.
-
NDA и доступ
Репозиторий на чтение, выборки данных, логи и обзор системы с вашим ведущим инженером.
-
Анализ
Одна-две недели: код, данные, тестовый набор для ИИ-функций, стоимость по вашим логам и счетам.
-
Отчет и разбор
Письменный отчет и разговор с командой, где проходим выводы и приоритеты.
Два способа работать с нами
Проект с фиксированной ценой
Четкий объем, фиксированная цена, согласованная до старта и демо каждую неделю. Подходит для нового продукта или понятной части работы.
Оценить проектВыделенная команда
Senior-инженеры, которые месяц за месяцем работают только над вашим продуктом, по вашим приоритетам и в ваших репозиториях.
О выделенной команде