Voicebox by Meta

Voicebox by Meta: генеративный ИИ для речи

Voicebox — это передовая модель генеративного ИИ, разработанная Meta для работы с речью. Её ключевая особенность — способность к обобщению, что позволяет ей успешно выполнять задачи, на которые она не была специально обучена, демонстрируя при этом высокое качество работы. В отличие от традиционных систем синтеза речи, Voicebox может обучаться на разнообразных, неструктурированных данных без необходимости тщательной разметки.

Технология Flow Matching

В основе Voicebox лежит инновационный подход под названием Flow Matching — последнее достижение Meta в области неавторегрессивных генеративных моделей. Эта технология обеспечивает высоконедетерминированное отображение между текстом и речью, позволяя модели эффективно обучаться на широком спектре речевых данных.

Основные возможности Voicebox:

• Создание высококачественных аудиофрагментов в разнообразных стилях.
• Синтез речи на шести языках.
• Удаление шумов.
• Редактирование контента.
• Преобразование стилей речи.
• Генерация разнообразных речевых образцов.

Универсальность и производительность

Одно из главных преимуществ Voicebox — возможность модифицировать любую часть аудиозаписи, а не только её конец. Это делает модель чрезвычайно универсальной и подходящей для таких задач, как синтез речи в контексте (in-context text-to-speech), кросс-языковой перенос стиля, шумоподавление и редактирование речи, а также генерация разнообразных речевых образцов. Voicebox превосходит существующие речевые модели по метрикам частоты ошибок по словам (word error rate) и сходства аудио.

Статус и потенциал

В настоящее время Voicebox недоступен для широкой публики из-за потенциальных рисков злоупотребления. Meta поделилась аудиопримерами и исследовательской работой, описывающей подход и результаты. Эта разработка в области генеративного ИИ для речи открывает значительные перспективы для улучшения коммуникации и персонализации голосов для виртуальных ассистентов.