Сайт Redteaming Tool от Raft Digital Solutions

Преимущества

  • Что такое Red Teaming для GenAI-приложений?

    Red Teaming для LLM — это комплексный аудит интеллектуальной устойчивости ваших генеративных AI-систем.

  • Расширение классического подхода

    Мы используем традиционные техники пентеста веб-приложений и дополнительно тестируем устойчивость LLM и их способность противостоять новому виду атак.

  • Интеграция с инструментами

    Анализ уязвимостей, возникающих при использовании плагинов, Function Calls и внешних сервисов.

  • Атаки нового формата

    Промт-инъекции, джейлбрейки становятся основными методами тестирования.

  • Мультиагентные системы

    Оценка безопасности целых экосистем, в которых несколько LLM-агентов и плагины взаимодействуют друг с другом.

  • Работа с «галлюцинациями»

    Проверка способности модели не выдавать вымышленные факты или дезинформацию.

Кейсы

  • Hack Prompt Injection в RAG-боте

    Имитирование атаки с целью обойти защиту, заставить модель раскрыть закрытую информацию или выполнить нежелательное действие

  • Кибербуллинг Compliance / Bias / Fairness

    Тестирование, нет ли системной дискриминации по полу / возрасту / региону; проверка, что ответы не содержат стереотипов

  • Отчёт Подготовка к аудиту / проверка соответствия регламентам

    Сбор данных, отчётов, где редтиминг-тесты описывают потенциальные риски, получение информации о способах их устранения, документирование мер

  • Поиск Регулярные проверки после дообучения моделей

    Каждый релиз с обновлением модели может открыть новые уязвимости. Регулярные редтиминг-проверки позволяют обнаружить эти риски сразу и не допустить их на продакшн

Процесс
Red Teaming

Анализ рисков и моделирование угроз

Подбор тестов и подготовка

Сканирование приложения при помощи HiveTrace Red

Пересканирование

Установка guardrails на тестируемое приложение

Подготовка отчета

Подключение к CI/CD процессу сборки приложения

HiveTrace Red: Автоматический red team инструмент

пример отчета LLAMATOR

Python-фреймворк для автоматизации атак, доступен в pip

Поддержка 80+ атак на русском и английском языках, возможность автоматического перевода на другие языки

Работает как с локальными моделями, так и по API

Модульная архитектура, позволяющая использовать SOTA модели для создания атак и оценки ответов

Сохранение всех результатов и метаданных для воспроизводимости тестирований

Возможность комбинации атак для проверки систем на сложных сценариях

Продукт создан при поддержке
Университета ИТМО / AI Talent Hub

ООО «ХайвТрейс». Адрес: 150040, Россия, Ярославская обл., г.о. город Ярославль, г. Ярославль, ул. Свердлова, д. 25Д.
ИНН: 7604401431, ОГРН: 1257600004969. Номер в реестре аккредитованных ИТ компаний: 76380. Политика
конфиденциальности

Стек технологий:

ML-компоненты: модели генерации и детекции (Qwen‑72B + LoRA, детекторы prompt‑атак на BERT/ RoBERTa, PII‑детектор на DistilRoBERTa и др.).

Backend: Python 3.10 / FastAPI, Pydantic v2, SQLAlchemy 2.0 + Alembic, Celery/Redis, OpenTelemetry/Prometheus/Loki, JWT Auth + RBAC.

Frontend: React 19 + Vite, TypeScript, Ant Design, Redux Toolkit, React Router, i18next, ApexCharts/XYFlow.