SeamlessM4T

SeamlessM4T: Мультимодальный перевод речи и текста

SeamlessM4T — это фундаментальная мультимодальная модель, предназначенная для перевода речи и текста между различными языками. Она обеспечивает высокое качество перевода и упрощает межъязыковую коммуникацию, что особенно важно в условиях растущей глобализации и доступности мультиязычного контента.

Возможности и поддержка языков

Модель поддерживает широкий спектр задач:

• Автоматическое распознавание речи для почти 100 языков.
• Перевод речи в текст для почти 100 языков.
• Перевод речи в речь для почти 100 языков ввода и 35 языков вывода (включая английский).
• Перевод текста в текст для почти 100 языков.
• Перевод текста в речь для почти 100 языков ввода и 35 языков вывода (включая английский).

SeamlessM4T решает проблему ограниченного языкового охвата, предлагая единую мультиязычную модель. Она улучшает производительность как для языков с низким и средним количеством ресурсов, так и для языков с высоким уровнем ресурсов.

Технологии и архитектура

SeamlessM4T построена на основе архитектуры модели UnitY, поддерживающей множество задач. Она использует легковесные и компонуемые инструменты, такие как fairseq2 — библиотека экосистемы PyTorch, для расширения своих возможностей. Модель способна к неявному распознаванию исходного языка без отдельной модели идентификации.

Разработка SeamlessM4T опирается на предыдущие достижения Meta, включая модель машинного перевода No Language Left Behind (NLLB), поддерживающую 200 языков, и Universal Speech Translator для хоккиенского языка.