Открытый код инструмента защиты ИИ-моделей Cloud.ru
Компания Cloud.ru опубликовала исходный код Guardrails Filter – инструмента для защиты чувствительных данных при работе с большими языковыми моделями. Теперь российские компании смогут бесплатно развернуть сервис в собственной инфраструктуре и использовать его с ИИ-моделями любых провайдеров.
Опенсорс-версия не привязана к платформе Cloud.ru и может использоваться с любыми языковыми моделями. Бизнес может развернуть Guardrails Filter внутри своей инфраструктуры и самостоятельно управлять сервисом через личный кабинет – настраивать и тестировать правила защиты, отсматривать логи и алерты.
Guardrails Filter работает между корпоративными приложениями и ИИ-моделью. Инструмент автоматически проверяет запросы пользователей и ответы модели на наличие чувствительных данных. Перед отправкой запроса сервис автоматически заменяет персональные данные, API-ключи, пароли и другую конфиденциальную информацию синтетическими значениями. После получения ответа модели Guardrails Filter восстанавливает исходные данные. Таким образом пользователи получают корректный результат, а реальные данные не передаются языковой модели.
В опенсорс-версии пользователи могут использовать стандартные правила обнаружения чувствительных данных, а также создавать собственные, например, для внутренних номеров договоров, идентификаторов клиентов, кодовых названий проектов. Это позволяет гибко адаптировать инструмент под собственные требования безопасности. Также в сервис добавлены журналирование событий безопасности и тестовый режим Ghost Mode, который позволяет проверить работу сервиса до включения защиты.
Качество работы Guardrails Filter подтверждено на публичном бенчмарке pii-bench: инструмент набрал 93,1 балла по комплексной метрике качества распознавания F1, а точность срабатываний достигла 99,9%. Как отмечают в компании, на практике это означает, что сервис надежно обнаруживает чувствительные данные и почти не принимает обычный текст за конфиденциальную информацию: примерно 999 из 1000 его срабатываний оказываются верными.
Guardrails уже используется в цифровой среде AI Factory для защиты запросов к сервису Foundation Models. Инструмент применяется в пилотных и коммерческих проектах клиентов, а также в собственных проектах Cloud.ru.