Byte/RE ИТ-издание

Тестирование ИИ-файрвола ITGLOBAL.COM

Компания ITGLOBAL.COM (корпорация ITG) сообщила, что продолжает разработку и тестирование собственного ИИ-файрвола – модуля безопасности для сервиса AIaaS. Решение контролирует обмен данными между корпоративными приложениями, языковыми моделями и ИИ-агентами. На последнем этапе команда провела 625 проверок, включающих различные сценарии атак, обычные рабочие запросы и сравнительные испытания режимов защиты.

Файрвол должен снизить риск утечки конфиденциальной информации и предотвратить несанкционированные действия агентов. Он анализирует запросы пользователей, ответы моделей, загружаемые документы и обращения агентов к внешним инструментам.

Программа испытаний охватывает несколько сотен вариантов потенциальных атак. Разработчики проверяют попытки обойти ограничения моделей, внедрение скрытых инструкций в документы и переписку, передачу паролей, ключей доступа и персональных данных. Особое внимание уделяется безопасности ИИ-агентов, которые взаимодействуют с корпоративными системами через инструменты и протокол MCP.

Одна из контрольных серий включала 110 смоделированных атак шести категорий, и модуль заблокировал все из них. Отдельную выборку из 100 обычных рабочих запросов он обработал без ложных блокировок. Затем набор сценариев был расширен, и после этого удалось выявить дополнительные ограничения, которые разработчики учитывают при доработке решения.

Помимо тестирования программного кода специалисты проверяют работу установленной системы с реальными языковыми моделями, пользовательским интерфейсом Open WebUI и сетевыми MCP-клиентами. Кроме обнаружения угроз, команда оценивает производительность, управление доступом, корректность обновлений, восстановление после сбоев и передачу событий безопасности.

Каждый сценарий проходит два режима: наблюдения, когда файрвол только фиксирует подозрительные действия, и активной блокировки. Это позволяет оценить эффективность обнаружения атак и влияние на повседневную работу сотрудников. Как отмечают в компании, для корпоративного заказчика важно, чтобы решение не только обнаруживало атаки, но и не мешало нормальной работе приложений и агентов. Поэтому в ITGLOBAL.COM продолжают расширять программу тестирования, проверяя новые способы обхода ограничений и уделяя особое внимание ложным срабатываниям.

В рамках дальнейшей работы планируются испытания на реальных задачах заказчиков. Режим наблюдения позволит предварительно оценить потенциальные угрозы и настроить политики безопасности до включения активной блокировки.

ITGLOBAL.COM разрабатывает ИИ-файрвол для платформы AIaaS, которая предоставляет доступ к российским и зарубежным языковым моделям через единый API. Новый модуль дополнит сервис средствами контроля ИИ-трафика, защиты корпоративных данных и управления безопасностью агентных систем.

Вам также могут понравиться