Библиотека Сбера для поиска ошибок нейросетей

Команда исследователей Центра практического искусственного интеллекта Сбербанка опубликовала в открытом доступе библиотеку SIRIN (Semantic Inconsistency Recognition and Inspection Nexus, «Обнаружение и анализ семантических несоответствий»). Она помогает находить в ответах ИИ-агентов и языковых моделей вымышленные или не подтвержденные исходными данными факты.

SIRIN объединяет в одном инструменте разные методы проверки ответов. Разработчики могут сравнивать их, комбинировать и выбирать подходящий вариант для своей задачи. Библиотека умеет проверять как весь ответ целиком, так и отдельные фрагменты текста, показывая, где именно модель могла ошибиться. Кроме того, SIRIN может заранее определить, достаточно ли у ИИ-агента информации для ответа. Это позволяет не только находить ошибки, но и предотвращать их, например, попросить дополнительные данные или отказаться от неподтвержденного ответа.

В основе библиотеки лежат исследования Сбера в области детекции галлюцинаций. В частности, в Центре практического ИИ разработаны метамодели, которые позволяют повысить точность обнаружения ошибок почти на 30%, используя для обучения всего 250 примеров.

Как отмечают в Сбербанек, было принято решение открыть SIRIN для всех компаний, чтобы способствовать развитию рынка. Библиотека доступна всем желающим для использования в своих проектах, любой разработчик может встроить SIRIN в своего ассистента за несколько минут.

Ожидается, что инструмент будет полезен бизнесу, который внедряет большие языковые модели и хочет следить за качеством диалогов с пользователем. Также он пригодится разработчикам ИИ-ассистентов, RAG-систем и ИИ-агентов. Исследователи найдут здесь базу для тестирования новых алгоритмов.