Нейросеть-эмпат Yandex Cloud
Пресс-релиз | 11.03.2024
Компания «Яндекс» представила нейросеть, которая должна помочь бизнесу лучше понимать эмоции клиентов. Алгоритм от облачной платформы Yandex Cloud способен по голосу распознать эмоции человека во время диалога. Новая ML-модель уже может определить негатив, неформальные высказывания и нецензурную лексику, а также пол спикера и его фразы в диалоге. В будущем алгоритм заработает в связке с YandexGPT: вместе нейросети смогут распознавать более сложные эмоции, в частности неуверенность или сарказм.
Нейросеть-эмпат разработана на базе технологии распознавания речи Yandex SpeechKit. С ее помощью можно создавать голосовых помощников и виртуальных операторов колл-центров, которые умеют понимать человеческие эмоции. Это позволит улучшить качество аналитики телефонных разговоров, а также адаптировать работу колл-центров под каждого клиента и оперативно реагировать на внештатные ситуации во время диалога.
ML-модель работает в потоковом режиме – расшифровка и анализ эмоций происходит во время разговора. Например, если абонент негативно общается с голосовым помощником, нейросеть может передать информацию об этом во внутреннюю систему заказчика, которая автоматически переключит его на сотрудника колл-центра. Если же оператор нагрубил клиенту, эта система оповестит менеджмент о проблемах во время разговора.
Алгоритм может определять эмоции не только по содержанию речи спикера, но и по голосу – по скорости речи, высоте, тембру и другим параметрам. Нейросеть также определяет пол участников разговора и поддерживает технологию speaker labeling – она отмечает, кому принадлежит та или иная реплика. Это позволяет полноценно работать с одноканальными звуковыми дорожками, например, при записи с диктофона или при технологических ограничениях виртуальной АТС. Кроме того, ML-модель расширяет возможности оффлайн-аналитики: данные от нейросети помогут понять, какие именно темы и формулировки оператора вызывают негатив у клиента, и оптимизировать сценарии коммуникации.
Вскоре новая модель заработает в сервисе речевой аналитики SpeechSense, который включает в себя технологии Yandex SpeechKit и интегрирован с генеративной нейросетью YandexGPT. Взаимодействие нескольких ML-моделей позволит распознать более сложные эмоции спикера. Также нейросети смогут оценить, насколько оператор действительно погрузился в проблему клиента, пытался ли помочь решению или старался как можно быстрее завершить разговор.
Нейросеть-эмпат дополнит семейство языковых моделей Yandex Cloud на основе технологии SpeechKit. Ранее облачная платформа представила нейросеть-полиглота, которая может одновременно распознать 16 иностранных языков.