HiveTrace

Банер

LLM Monitoring для вашего GenAI-приложения

Выявляйте потенциальные слабые места в сценариях использования на ранних этапах
Непрерывный мониторинг безопасности контента
Оперативное выявление потенциально нежелательных сценариев

Новости

HiveTrace Red: релиз enterprise-версии и запуск партнерской программы

#релиз

Недавно мы представили HiveTrace Red – инструмент для комплексного тестирования безопасности LLM-моделей и GenAI-систем. Решение автоматически имитирует действия злоумышленника и выявляет уязвимости до того, как система попадет в продакшен. Вместе с этим запустили программу, которая позволит интеграторам предложить рынку новый уникальный вид услуг.

HiveTrace 4.0: повышение производительности и качества детекции

#релиз

Мы продолжаем активно развивать систему LLM-мониторинга, отвечаем на запросы рынка и обратную связь от партнёров и клиентов. В обновлённой версии HiveTrace 4.0 мы учли накопленный опыт использования и закрыли сразу несколько важных запросов. В этой статье расскажем, что вошло в новый релиз, какие произошли изменения и зачем это нужно.

Наши партнеры

МФТИ
Аксофт
Raft
JET
УЦСБ

Преимущества

Что такое LLM Monitoring для GenAI-приложений?

Контроль и анализ для GenAI-приложений
Анализируем сообщения и непрерывно выявляем аномалии и ошибки в пользовательских взаимодействиях с LLM
Оперативно выявляем аномальные сценарии взаимодействия с моделью, включая попытки изменения её поведения и некорректного использования данных.

В фокусе системы мониторинга: prompt-injection, jailbreaks и вредоносные HTML/Markdown элементы.
Осуществляем очистку сообщений от персональных данных
Оповещаем о всех событиях и отклонениях через различные каналы связи: электронная почта, мессенджеры, телеграм-бот
Предоставляем удобный и интуитивно понятный интерфейс для анализа результатов мониторинга

Процесс HiveTrace

Поддерживаем адаптивное управление токенами для пользователей с подозрительной активностью
Двунаправленный мониторинг: анализируем сообщения пользователя и ответы LLM
Визуализация аналитики под ваши требования
Отслеживаем нагрузку на систему

Перейти на сайт Университета ИТМО Продукт создан при поддержке
Университета ИТМО / AI Talent Hub

Направления тестирования

OWASP Top 10 для приложений на основе больших языковых моделей

LLM01:
2025

Промпт-инъекции (Prompt Injection)

Вмешательство пользователя в запросы, чтобы изменить результаты и функции модели.

LLM03:
2025

Уязвимость цепочки поставки (Supply Chain)

Уязвимости, связанные с нарушениями безопасности и манипулированием данными.

LLM04:
2025

Отравление данных и модели (Data and Model Poisoning)

Манипуляции с данными на этапах обучения модели, что влияет на ее надежность и результаты.

LLM05:
2025

Некорректная обработка выходных данных (Improper Output Handling)

Отсутствие проверок и обработки вывода может привести к уязвимостям в приложениях.

LLM06:
2025

Чрезмерная агентность (Excessive Agency)

Чрезмерное использование LLM для принятия решений, выходящее за пределы безопасных границ.

LLM07:
2025

Утечка системных инструкций (System Prompt Leakage)

Утечка внутренних системных подсказок, которые раскрывают конфиденциальные настройки.

LLM08:
2025

Уязвимости векторов и эмбеддингов (Vector and Embedding Weaknesses)

Слабые места в моделях векторных представлений, способные вызвать непредсказуемые ошибки.

LLM09:
2025

Введение в заблуждение (Misinformation)

Генерация ложной или вводящей в заблуждение информации с потенциальными последствиями.

LLM10:
2025

Неограниченное потребление (Unbounded Consumption)

Неконтролируемое использование вычислительных ресурсов, что вызывает перегрузку системы.

Варианты использования HiveTrace

Хотите простое и быстрое подключение?

Подключитесь к мониторингу в Yandex Cloud
Подключиться
Вам необходима локальная настройка?

Оставьте заявку на индивидуальное подключение

Оценим задачу с учётом ваших потребностей

Подготовим персонализированное коммерческое предложение