ИИ-файрвол ITGLOBAL.COM для работы с языковыми моделями
Компания ITGLOBAL.COM (корпорация ITG) объявила, что запустила в режиме тестирования новый защитный модуль для корпоративных данных в рамках сервиса AIaaS. Модуль контролирует обмен данными между корпоративными приложениями и языковыми моделями: отслеживает попытки скрытого управления моделью через внедренные команды и предотвращает передачу конфиденциальных данных во внешние нейросети.
Как поясняют в ITGLOBAL.COM, когда компания подключает языковую модель к рабочим процессам, у данных появляется новый путь наружу – через саму модель. Рисков здесь несколько. Во-первых, скрытая команда: если внутри письма или документа спрятана инструкция, модель может принять ее за задание и выполнить. Во-вторых, утечка через ответ: в тексте, который модель возвращает пользователю, могут оказаться персональные или конфиденциальные данные. В-третьих, действия ИИ-агента: если у модели есть доступ к рабочим инструментам, через них она может отправить данные за пределы компании. Обычные средства защиты такие обращения пропускают – для них это неотличимо от штатного трафика к внешнему сервису.
ИИ-файервол размещается между корпоративными приложениями и языковой моделью и разбирает каждое обращение по двухуровневой схеме. Первый уровень – быстрый классификатор, отсекающий очевидные случаи. Второй – модель, которая оценивает смысл спорного обращения. Отдельный модуль отвечает за действия ИИ-агентов: какие инструменты им разрешены и какие параметры передаются при вызове, включая попытки обращения к внутренним сетевым ресурсам. Отдельно реализована работа с RAG. Загружаемые файлы и документы базы знаний проверяются на входе – до того, как попадут в поисковый индекс, а не в момент выдачи ответа.
Модуль ориентирован в первую очередь на организации, для которых цена утечки данных особенно высока: компании финансового сектора, госструктуры и бизнес, работающий с персональными данными в соответствии с требованиями 152-ФЗ. Для них контроль над тем, что именно уходит в языковую модель, – условие, при котором внедрение ИИ вообще становится возможным.
ИИ-файервол в составе AIaaS доступен в панели управления сервисом как отдельный подключаемый модуль.