При тестировании AI Firewall специалисты «Инфосистемы Джет» учитывали как долю пропущенных атак, так и частоту ложных срабатываний на рабочих запросах. В качестве защитной модели в таком тестировании использовалась HiveTraceGuard-Pro, показавшая себя значительно лучше в сравнении с другими моделями семейства Qwen3Guard. Сравнить HiveTraceGuard-Pro с моделями семейства Qwen3Guard по этим показателям можно в открытом рейтинге GuardRate.
В части защиты данных сценарии включали обнаружение и обработку ФИО, телефонов, адресов электронной почты, паспортных данных, банковских карт, ИНН и СНИЛС в запросах и ответах. Проверка также предусматривала настройку правил для специфичных корпоративных данных – например, внутренних идентификаторов и табельных номеров – и корректность маскирования, удаления и псевдонимизации.
Отдельный блок был посвящен защите от prompt-инъекций и попыток обхода ограничений модели – jailbreak. В программу вошли проверка тематических политик на допустимых, запрещенных и пограничных запросах, а также применение списков запрещенных слов и шаблонов на входе и выходе. На штатных бизнес-запросах оценивались ложные срабатывания: защитные механизмы должны выявлять нарушения и сохранять возможность нормальной работы пользователей.
HiveTrace Red предназначен для автоматизированного тестирования безопасности языковых моделей и приложений на их основе. Решение воспроизводит атаки, сохраняет запросы, ответы и результаты оценки. Это позволяет выявлять слабые места и повторять проверки после изменения модели, системного промпта или настроек защиты.
При оценке HiveTrace Red специалисты «Инфосистемы Джет» уделили особое внимание тому, какие атаки можно воспроизвести и как задать критерии прохождения проверки. Инструмент позволяет проверить, удается ли раскрыть системные инструкции ассистента, получить вредоносный ответ или спровоцировать выполнение кода. Для каждого набора тестов можно задать допустимую долю успешных атак. При проверке этого порога HiveTrace Red учитывает верхнюю границу 95%-ного доверительного интервала. После изменения модели или настроек защиты специалисты могут повторить те же атаки и оценить результат по тем же критериям.
«В корпоративных проектах один из первых вопросов, это какие данные сотрудники передают языковой модели и можно ли контролировать этот поток. Следующий – насколько само ИИ-приложение устойчиво к атакам. Наши продукты закрывают обе задачи: Red помогает найти слабые места, а AI Firewall – применять политики безопасности к запросам и ответам. Одобрение со стороны „Инфосистемы Джет“ открывает возможности для совместных проектов, в которых защита ИИ проверяется на конкретных сценариях заказчика», – прокомментировал Иван Василенко, директор по клиентской стратегии HiveTrace.
