Система безопасности ИИ-агентов от «СофтМедиаЛаб»
Компания «СофтМедиаЛаб» представила «КиберАгентРевью» (CyberAgentReview) – систему безопасности и контроля ИИ-агентов в реальном времени. Решение позволит выявлять отклонения в действиях агентов, предотвращать утечки и расследовать аномалии, обеспечивая безопасное внедрение ИИ в корпоративной среде.
В основе «КиберАгентРевью» – мониторинг и аудит действий агентов с учетом контекста их работы. Технически решение реализовано в виде локального прокси-сервиса на рабочих станциях и выступает единым шлюзом к большим языковым моделям (LLM), обеспечивая защиту LLM без изменения пользовательских инструментов. В централизованном дашборде можно полностью отследить, какой агент, какие данные и куда отправил. Также доступны функции автоматического обнаружения утечек, контроля аномалий и настройки оповещений.
Эксперты Gartner отмечают, что средства управления доступом (IAM) оказались не готовы к появлению новых видов угроз от ИИ-агентов. Автономные системы не только генерируют текст, но и выполняют действия: обращаются к API, изменяют данные, запускают процессы. Они внедряются в бизнес быстрее, чем выстраиваются меры защиты.
Особую угрозу создают ИИ-агенты, которые одновременно имеют доступ к приватным данным, внешнему контенту и инструментам передачи информации. В таких сценариях злоумышленник может внедрить скрытые команды в документ или письмо, после чего агент самостоятельно соберет и отправит конфиденциальные данные.
Как поясняют в «СофтМедиаЛаб», традиционные средства безопасности не предотвращают атаки, при которых легитимный ИИ-агент начинает действовать с измененной целью. «КиберАгентРевью» позволяет компаниям выстраивать практику обеспечения безопасности ИИ, выявлять такие отклонения и снижать риски при использовании автономных систем, обеспечивая контроль их действий и соответствие регуляторным требованиям.
В планах развития продукта – расширение механизмов поведенческого анализа и защиты ИИ-агентов. Система будет сопоставлять вызовы инструментов с исходной задачей и уточнениями пользователя, выявлять отклонения (в том числе вызванные промпт-инъекциями) и обеспечивать защиту от промпт-инъекций за счет автоматического прерывания выполнения операций, не допуская распространения вреда в случае сбоя.