Byte/RE ИТ-издание

AI-агент МТС Web Services для описания данных компаний

Компания МТС Web Services (MWS) сообщила о запуске первого в России сервиса для автоматического описания накопленных корпоративных данных – MWS Data Scout. Сервис является частью платформы MWS Data и представляет собой AI-агента, в основе которого лежит большая языковая модель (LLM). Он парсит (просматривает) все базы данных компании и формирует краткое описание того, какие данные в них находится и как они связаны между собой. Это позволяет ускорить процесс описания данных в 10 раз и сэкономить, по данным MWS, десятки миллионов рублей.

AI-агент может подключиться к ИТ-системам компании как и из облака, так и из защищенного контура клиента. Решение интегрируется со всеми популярными дата-каталогами, такими как DataHub, OpenMetadata, а также дата-каталогом от MWS. AI-агент может проанализировать, как таблицы связаны между собой, какие в них хранятся данные, определить другие их характеристики. Например, если столбец таблицы подписан как «Выручка», AI-агент опишет, по какой методике она рассчитывалась, округленные ли это цифры, если это «Сумма сделки» – то подписывается, в какой валюте она указана, до налогообложения или после.

Также сервис может выявлять, в каких базах данных хранится критическая информация, такая как паспортные данные (номер, серия, дата выдачи), персональные данные (ФИО, место жительства, телефон), банковские данные (pin, cvv, имя держателя). Это важно для соблюдения требований законодательства о защите персональных данных, повышения информационной безопасности и предотвращения утечек чувствительной информации.

На первом этапе AI-агент получает метаданные (общие сведения о том, как называются таблицы и столбцы в них), а также подключается к Confluence компании, где также могут храниться дополнительные сведения о БД. Это позволяет сервису получить более полное представление о структуре и назначении данных, повысить точность описаний и учесть бизнес-контекст, зафиксированный в документации. Далее AI-агент описывает сами таблицы и столбцы, находит критичные данные. После окончания анализа агент предоставляет структурированный отчет с полным описанием всех обнаруженных таблиц, связей между ними и загружает результаты в дата-каталог.

Как комментируют в MWS, компании традиционно накапливают огромное количество данных, и часто бывает, что вместо понятных обозначений столбцы в базах данных подписываются аббревиатурами, понятными лишь автору или аналитику, который с ними работал. Иногда даже верно подписанные данные без дополнительной информации становятся бесполезными. MWS Data Scout позволяет аналитикам и дата-сайентистам быстрее находить нужную информацию, не тратить время на разбор таблиц вручную и не создавать дубликаты. Кроме того, снижается зависимость от отдельных сотрудников, ведь если знания о данных есть только в голове отдельного сотрудника, при его уходе теряется контекст. AI-агент также дает понимание семантики: он описывает те характеристики данных, которые далеко не всегда можно подписать в базе.

В будущем AI-агент сможет строить пайплайны данных – от поиска нужного источника (например, с мастер-данными) до дообогащения данных и доставки их до BI-систем или ML-моделей с обязательными проверкам качества данных. Также он сможет обнаруживать аномалии, помогая распознавать резкие отклонения в данных, которые могут сигнализировать о неполадках или подозрительных событиях.

Вам также могут понравиться