Сбер о кибербезопасности саморазвивающихся ИИ-агентов

Сбер на конференции OFFZONE 2026 представил результаты исследования безопасности саморазвивающихся агентов Hermes и OpenClaw. Исследование базируется на обновленной версии модели угроз кибербезопасности AI Сбера. Как показало исследование, безопасность используемой ИИ-модели не всегда означает безопасность самих ИИ-агентов. Существуют угрозы, которые необходимо устранять на уровне агентных систем.

Как поясняют в Сбере, самоэволюция подразумевает способность агента самостоятельно обновлять память, навыки и код, используя собственные инструменты для выполнения поставленной цели. Таким образом агенты становятся более функциональными, а за людьми остаются контроль и ответственность. Именно поэтому ключевое внимание необходимо уделять вопросам кибербезопасности.

Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты Сбера предложили пять базовых мер кибербезопасности:

1. Строгая изоляция агентов. Реализация локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя.

2. Разделение контуров разработки и эксплуатации. Самоэволюция полностью отключена в эксплуатационной среде, поскольку в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен, но при этом доступ к данным разрешен исключительно на чтение, а доступ к сети отключен. Вывод решения в эксплуатацию происходит со стандартными проверками кибербезопасности.

3. Независимые системы безопасности. Механизмы защиты вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, ограничители (гардрейлы) блокируют аномалии (промпт-атаки, утечки, токсичность и пр.) в реальном времени, далее следует офлайн-анализ и, при необходимости, принятие решения о допустимости действий агента.

4. Корпоративный реестр навыков. Все инструменты, которыми пользуется агент, проходят обязательную статическую и динамическую проверку перед попаданием в реестр. Дополнительно рекомендуется анализировать опасные комбинации инструментов на предмет избыточных совокупных возможностей.

5. Использование песочницы для запуска кода. Любой код, генерируемый ИИ-агентом, запускается в изолированной среде. Сессия имеет ограниченное время жизни, собственные временные токены доступа, запрет на доступ к сети и строгие лимиты на использование процессора, памяти и файловой системы.

Исследование базируется на обновленной версии Модели угроз кибербезопасности AI Сбера, которая систематизирует 37 угроз и 51 способ их реализации, включая риски, связанные с GenAI, AI-агентами и мультиагентными системами.