Крупнейшая ИИ-модель генерации языка Microsoft и NVIDIA

Компании Microsoft и NVIDIA представили крупнейшую в мире ИИ-модель генерации естественного языка Megatron-Turing Natural Language Generation, которая содержит 530 млрд параметров. Это самая большая и самая мощная монолитная трансформаторная языковая модель, обученная на сегодняшний день.

Модель MT-NLG имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и демонстрирует самую высокую точность в широком наборе задач естественного языка, таких как:

• предсказание завершения текста по смыслу;
• понимание прочитанного;
• генерация логических выводов;
• создание заключений на естественном языке;
• различение смысла слов с несколькими значениями.

Обучение столь мощной модели, подчеркивают разработчики, стало возможным благодаря многочисленным инновациям. Например, NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с развитым программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.