Российское решение по борьбе с дипфейками признано одним из самых точных в мире

Решение MTS AI заняло второе место в категории распознавания дипфейков и третье место в задаче биометрической верификации по голосу в международном конкурсе ASVspoof 2024 Challenge, рассказали в пресс-службе компании.

ASVspoof 2024 Challenge — это главное международное соревнование, направленное на развитие и улучшение систем верификации голосов и защиту их от подделок. Основная цель этого соревнования — разработка и тестирование алгоритмов, которые могут эффективно обнаруживать различные виды атак на биометрическую систему распознавания голоса.

Новые методы для обнаружения поддельных голосов, созданных с помощью нейросетей, и проверки личности по голосу созданы ведущим разработчиком MTS AI Александром Кондратьевым и старшим разработчиком Али Алиевым.

Инструменты распознавания дипфейков включают самообучающуюся нейронную сеть, которая выделяет мельчайшие особенности звука. Эти особенности могут включать, например, неестественные колебания или шумы, типичные для искусственно сгенерированных голосов.

Архитектура системы базируется на сочетании сверхточных нейронных сетей и трансформеров. Первые работают по принципу фильтров, которые выделяют характерные паттерны в звуковых волнах, например, особенности тембра или шумы. Трансформеры понимают, как один фрагмент аудиозаписи связан с другими, учитывая интонацию, паузы или длительность звуков, что помогает распознавать естественные или неестественные изменения в речи. Для задачи обнаружения дипфейков система достигла минимального уровня ошибок – 3,41%.

Для проверки личности по голосу были объединены технологии для распознавания дипфейков и биометрии. Новый метод позволяет комбинировать оценки от обеих систем, увеличивая уровень уверенности каждой системы в своей оценке. Предложенные решения могут быть интегрированы в системы безопасности и использоваться на практике для предупреждения киберпреступлений и повышения защиты голосовых технологий.