Средство защиты GenAI-приложений HiveTrace в облаке Cloud.ru

Компания HiveTrace, разработчик решений для защиты ИИ,  сообщил, что развернул AI Firewall в облаке Cloud.ru. Это позволило ускорить внедрение у корпоративных заказчиков и повысить уровень защиты GenAI-приложений от наиболее распространенных атак на большие языковые модели. AI Firewall защищает от ключевых ИБ-угроз при использовании ИИ, включая промпт-атаки, отравление данных и моделей, утечку системных инструкций, чрезмерную агентность и другие уязвимости LLM.

Например, это не позволяет злоумышленникам заставить модель выполнять небезопасные действия с помощью вредоносных запросов и получить через LLM конфиденциальные данные компании. В отличие от инструментов защиты на уровне отдельных моделей, решение работает на уровне приложений.

Помимо миграции, Cloud.ru и HiveTrace также договорились о включении модели HiveTracePro в сервис Evolution Foundation Models. Клиенты Cloud.ru, которые уже используют языковые модели на платформе, могут подключать HiveTracePro как дополнительный уровень защиты GenAI-приложений. Модель дополняет Guardrails Filter – собственный инструмент Cloud.ru для маскировки чувствительных данных при работе с большими языковыми моделями.

Как поясняют в HiveTrace, клиенты компании работают в разных отраслях, поэтому требования к инфраструктуре отличаются от проекта к проекту. Требовалась единая платформа, которая закрывала бы все требования к работе с персональными данными, ГИС, КИИ и финансовыми системами, а также поддерживала Kubernetes с GPU.

Для размещения AI Firewall компания выбрала Cloud.ru Evolution. Решение развернули на базе Evolution Managed Kubernetes с GPU. Managed-сервисы Cloud.ru оказались совместимы с существующими компонентами HiveTrace, поэтому не потребовалась дополнительная доработка.