Зачем нужно атаковать LLM
Большинство корпоративных ИИ-приложений сегодня построено на базе опенсорсных языковых моделей: Llama, Qwen, отечественных разработок. Компании берут готовую модель, оборачивают ее в продуктовый интерфейс и выкатывают пользователям. Проблема в том, что сами встроенная защита моделей ориентирована на этические ограничения, а не на бизнес-риски конкретной компании. Кроме того, эту защиту можно обойти.
Мы протестировали несколько популярных моделей и получили показательные результаты. У Llama-3.3-70B-Instruct наиболее эффективная атака на генерацию вредоносного контента срабатывала в 74% случаев. У одной из российских моделей этот показатель достиг 91%, а системный промпт извлекался в 61% попыток.
В итоге любой настойчивый пользователь может заставить вашего корпоративного ассистента выдать внутренние инструкции, персональные данные клиентов или сгенерировать контент, который вы точно не планировали публиковать от лица компании.
Именно для выявления таких уязвимостей придумали red teaming, где специальная команда атакует систему прежде, чем она окажется в руках реальных злоумышленников. Для LLM-приложений такой подход реализуется через автоматизированные инструменты. Один из них и есть HiveTrace Red.
Что такое HiveTrace Red
HiveTrace Red – это платформа для автоматизированного тестирования устойчивости LLM-приложений к атакам. Система моделирует реальные сценарии взлома: prompt injection, jailbreak-атаки, извлечение системных инструкций, утечку персональных данных и DoS-сценарии через сложные запросы.
Один из ключевых акцентов продукта – локализованная база атак с учетом русскоязычных сценариев, которые зарубежные инструменты регулярно пропускают.
Как устроен процесс тестирования
Работа HiveTrace Red состоит из трех этапов:
- генерация атакующих запросов
- тестирование приложения
- оценка ответов
Формирование тестовых запросов. На входе – набор датасетов, также вы можете добавить свои. Доступны готовые наборы для проверки галлюцинаций, извлечения персональных данных, утечки ключей и паролей, атак на репутацию и раскрытия внутренней инфраструктуры.
Генератор атак. Атакующая модель автоматически преобразует исходные запросы, применяя более 90 техник: кодировки, шифрование, невидимые символы, психологические манипуляции, переформулировку через LLM. На выходе – набор атакующих промптов, готовых к прогону.
Тестирование модели. Подготовленные сценарии прогоняются через тестируемое приложение – облачную или локальную модель, RAG-систему или AI-агента.
Оценщик ответов. Отдельная модель анализирует каждый ответ и выносит вердикт: сработала атака или нет. Оценка происходит автоматически, без ручной разметки.
Отчет. На выходе получаем структурированный документ с метриками ASR и BSR, разбивкой по типам успешных атак, примерами опасных промптов и контент-анализом ответов. Динамика устойчивости при повторных прогонах позволяет отслеживать, как меняется защищенность продукта в процессе разработки. Отчет содержит привязку к требованиям регуляторов и фреймворкам: есть маппинг на OWASP Top 10 for LLM Applications, MITRE ATLAS и приказ ФСТЭК 117.
Продукт закрывает несколько практических сценариев:
- Перед запуском AI-продукта – тестирование корпоративных чат-ботов и ассистентов до выхода в продакшен.
- При внедрении AI-агентов – проверка систем с доступом к внешним сервисам и инструментам.
- В рамках DevSecOps / MLSecOps – интеграция в цикл разработки; поддержка CI/CD запланирована на Q2 2026.
- По требованию регуляторов – регулярное тестирование как часть SSDLC для ИИ-систем.
Начать работу с платформой или оставить заявку на демо можно на сайте HiveTrace Red.
Open source или Enterprise: какая версия подойдет вам
HiveTrace Red доступен в двух вариантах. Open source-версия с библиотекой из 90+ техник атак публикуется на GitHub. Такой вариант подойдет тестировщику, который хочет самостоятельно «прощупать» модель и посмотреть, как работает AI red teaming на практике.
Enterprise-версия добавляет веб-интерфейс на русском и английском, REST API для автоматизации, хранение истории прогонов. Эта версия делает работу системной и подойдет для командной работы, где несколько человек могут сравнивать результаты разных прогонов и отслеживать, как меняется защищенность продукта от релиза к релизу. Дополнительно доступны расширенные датасеты и техническая поддержка от вендора.
Решение подключается через API, работает с локальными и облачными моделями и поддерживает любые платформы.
Партнерская программа
Вместе с релизом корпоративной версии HiveTrace Red мы объявили о запуске партнерской программы для интеграторов, которые хотят предлагать своим клиентам услуги AI-пентестинга. В рамках программы предоставляем не только лицензию на продукт, но и методологию, шаблоны отчетов и сопровождение на всех этапах, от пресейла до завершения проекта.
Чтобы узнать подробности партнерской программы и вступить в нее, отправьте заявку через форму на сайте в разделе Программа для партнеров.