ИИ-шлюз для работы с большими языковыми моделями в платформе «Диасофт»

Компания «Диасофт» анонсировала обновление MLOps-платформы, входящей в состав решения «Фабрика данных» (Digital Q.DataFactory). В обновленной версии в платформу добавлен «ИИ-Шлюз», который выступает единой точкой входа для безопасного вызова ИИ-моделей.

Как поясняют в «Диасофт», при активном внедрении ИИ компании сталкиваются с такими проблемами, как риски утечки данных, неконтролируемые затраты, разрозненность ИТ-ландшафта и сбои, а также зависимость от иностранного ПО. MLOps-платформа помогает исключить все эти трудности благодаря следующим возможностям «ИИ-Шлюза»:

• Сквозная защита данных на уровне инференса (Zero-Trust AI) – автоматический перехват запросов, маскирование конфиденциальных данных (PII) до их отправки к внешним LLM-провайдерам и демаскирование ответов при возврате клиенту.
• Интеллектуальная маршрутизация – умное распределение вызовов не только на основе стоимости или типа задачи, но и с учетом реальной доступности вычислительных ресурсов, автоматический fallback на альтернативные модели при сбоях.
• Полный контроль затрат на ИИ за счет экспорта метрик (запрос-ответ, токены, latency) с возможностью настройки лимитов (TPM/RPM) и квот.
• Семантическое кэширование – распознавание смысловых дубликатов запросов для мгновенного возврата ранее сгенерированных ответов, снижения нагрузки на LLM и экономии бюджета.
• Безопасное управление доступом – интеграция с Digital Q.Security (аутентификация по SSO, управление ключами), а также контентная фильтрация через Guardrails AI.
• Унифицированный API – предоставление единого OpenAI-совместимого эндпоинта для работы с любыми локальными и внешними провайдерами (ГигаЧат, РФ-агрегатор Routerai.ru и др.).

Главная ценность «ИИ-Шлюза», комментируют в «Диасофт», это превращение хаотичного и небезопасного использования нейросетей в управляемый корпоративный процесс. Данные больше не уходят в большие языковые модели в облаке в открытом виде: шлюз сам перехватывает запрос, маскирует чувствительную информацию, и только потом отправляет в LLM, а на обратном пути аккуратно демаскирует ответ.

Кроме того, «ИИ-Шлюз» обеспечивает умную маршрутизацию, учитывающую не только стоимость вызова, но и реальную загрузку GPU/CPU. Если базовая модель выходит из строя, шлюз бесшовно переводит трафик на резервную. Встроенное семантическое кэширование и интеграция с Langfuse для FinOps позволяют заказчикам в разы сократить расходы на токены и сделать использование ИИ прозрачным.

Решение «Фабрика данных», в состав которого входит MLOps-платформа, предназначено для объединения разрозненных данных в единое хранилище, аналитики данных, автоматизации подготовки признаков ML-моделей, машинного обучения предиктивных моделей и визуализации данных.