Инструмент Cloud.ru для защиты от утечек при работе с ИИ

Компания Cloud.ru анонсировала Guardrails Filter – средство безопасной работы c ИИ, предназначенное для защиты от утечек при запросах к популярным open source моделям. Как заявляют в компании, это первый такой инструмент у российских облачных провайдеров.

Guardrails Filter защищает от утечки корпоративных и пользовательских данных при работе с LLM-моделями. Инструмент сканирует текст и выделяет потенциально чувствительные элементы, например ПДн, реквизиты, API-ключи, секреты, маскирует их и передает обезличенный запрос в LLM. После ответа модели маскиратор меняет синтетические данные обратно на реальные значения. При этом сохраняется семантическая целостность всех передаваемых данных. Таким образом, пользователь получает полноценный результат, при этом чувствительные данные не покидают корпоративный ИТ-контур.

Инструмент предназначен для работы с моделями из сервиса EvolutionFoundation Models. На данный момент в каталоге доступно более 20 популярных больших языковых моделей различных типов, включая text-to-text, audio-to-text и image-text-to-text. Они уже готовы к использованию – пользователю не нужно развертывать инференс и писать код, достаточно подключиться через API. Механизм Guardrails Filter будет также доступен бизнесу для внедрения в режиме on-premise, чтобы обработка данных происходила на его стороне.

Как отмечают в Cloud.ru, отсутствие систем фильтрации персональных данных – одно из главных препятствий для внедрения генеративного ИИ. Сотрудники российских компаний полагаются на ИИ для решения самых разных задач и зачастую предоставляют LLM конфиденциальную информацию, повышая риск утечки чувствительной информации. Причем чем больше источников данных подключено к чат-боту, тем шире радиус ущерба.

Ожидается, что инструмент Guardrails Filter будет наиболее актуален для отраслей, которые традиционно работают с большим количеством чувствительных данных и хотят избежать риска утечек. Это прежде всего здравоохранение, ритейл и госсектор.