Сайт Redteaming Tool от Raft Digital Solutions

Преимущества

  • Что такое Red Teaming для GenAI-приложений?

    Red Teaming для LLM — это комплексный аудит интеллектуальной устойчивости ваших генеративных AI-систем.

  • Расширение классического подхода

    Мы используем традиционные техники пентеста веб-приложений и дополнительно тестируем устойчивость LLM и их способность противостоять новому виду атак.

  • Интеграция с инструментами

    Анализ уязвимостей, возникающих при использовании плагинов, Function Calls и внешних сервисов.

  • Атаки нового формата

    Промт-инъекции, джейлбрейки становятся основными методами тестирования.

  • Мультиагентные системы

    Оценка безопасности целых экосистем, в которых несколько LLM-агентов и плагины взаимодействуют друг с другом.

  • Работа с «галлюцинациями»

    Проверка способности модели не выдавать вымышленные факты или дезинформацию.

Кейсы

  • изображение рубля

    Атака на чат-бот
    позволила забронировать номер в гостиничном комплексе
    за 1 рубль

  • медицинский сотрудник

    Промт-инъекция
    подтолкнула медицинский чат-бот заявлять о пользе
    пива для здоровья

  • многоэтажное здание

    Утечка системного промпта
    подсказала алгоритм работы у ритейл компании

  • планета Земля

    Тестирование LLM
    на наличие региональной предвзятости позволило оценить safety-характеристики разных моделей

Процесс
Red Teaming

Анализ рисков и моделирование угроз

Подбор тестов и подготовка

Сканирование приложения при помощи HiveTrace Red

Пересканирование

Установка guardrails на тестируемое приложение

Подготовка отчета

Подключение к CI/CD процессу сборки приложения

HiveTrace Red: Автоматический red team инструмент

пример отчета LLAMATOR

Python-фреймворк для автоматизации атак, доступен в pip

Поддержка проработанных многоступенчатых атак на русском и английском

Автоматический подбор и улучшение техник атак

Интеграции с LangChain, OpenAI API, REST, Selenium, Telegram, WhatsApp

Автоматические отчеты в формате Word и выгрузка логов атак в Excel

Поддержка оценки ответов LLM-судьей

Продукт создан при поддержке
Университета ИТМО / AI Talent Hub

Open source версия

Направления тестирования

OWASP Top 10 for Large Language Model Applications

LLM ID
Название
Описание
Автоматическое сканирование LLAMATOR
Red teaming-аудит

LLM01:
2025

Промпт-инъекции (Prompt Injection)

Вмешательство пользователя в запросы, чтобы изменить результаты и функции модели.

LLM02:
2025

Утечка конфиденциальной информации (Sensitive Information Disclosure)

Риск утечки конфиденциальных данных, таких как PII, бизнес-информация или алгоритмы.

LLM03:
2025

Уязвимость цепочки поставки (Supply Chain)

Уязвимости в цепочке поставок могут привести к нарушениям безопасности и смещению данных.

LLM04:
2025

Отравление данных и модели (Data and Model Poisoning)

Манипуляции с данными на этапах обучения модели, что влияет на ее надежность и результаты.

LLM05:
2025

Некорректная обработка выходных данных (Improper Output Handling)

Отсутствие проверок и обработки вывода может привести к уязвимостям в приложениях.

LLM06:
2025

Чрезмерная агентность (Excessive Agency)

Чрезмерное использование LLM для принятия решений, выходящее за пределы безопасных границ.

LLM07:
2025

Утечка системных инструкций (System Prompt Leakage)

Утечка внутренних системных подсказок, которые раскрывают конфиденциальные настройки.

LLM08:
2025

Уязвимости векторов и эмбеддингов (Vector and Embedding Weaknesses)

Слабые места в моделях векторных представлений, способные вызвать непредсказуемые ошибки.

LLM09:
2025

Введение в заблуждение (Misinformation)

Генерация ложной или вводящей в заблуждение информации с потенциальными последствиями.

LLM10:
2025

Неограниченное потребление (Unbounded Consumption)

Неконтролируемое использование вычислительных ресурсов, что вызывает перегрузку системы.

Публикации

Обсудим Ваш проект

Форма обратной связи