Xiaomi открыла доступ к ИИ модели клонирования голоса на 600+ языков
OmniVoiceXiaomi выпустила OmniVoice. ИИ для клонирования голоса работает с 646 языками, включая «самые редкие, для которых почти нет данных». И разработка в открытом доступе.
© Ferra.ru
Модель использует большие языковые модели (как у ChatGPT) для того, чтобы правильно произносить сложные слова. Разработчики собрали 50 открытых наборов голосовых данных — 580 тыс. часов записи на 646 языках.
OmniVoice может копировать голос с любого образца (например, записать, как говорит человек, и заставить этот голос говорить на другом языке). Также можно:
-
Описать желаемый голос словами («мужчина, средних лет, низкий голос»).
-
Добавить смех, вздохи или шёпот.
-
Исправлять неправильное произношение.
-
Чистить шумы в записи.
Код, обучающие данные и готовые веса доступны на GitHub и Hugging Face. Там же можно попробовать демо-версию без установки.