Нейросеть HeyGen распознает речь в ролике и переводит ее на другой язык, повторяет голос и даже соответствующие движения губ.
HeyGen — cервис с виртуальными аватарами, которые озвучивают текст на разных языках, в соответствии с выбранным языком для цифрового персонажа генерируется мимика и движения губ.
Голос обрабатывают и копируют с помощью нейросетей, текст переводят и переозвучивают на выбранном языке. Рот говорящего человека перерисовывают так, чтобы текст на новом языке ложился на мимику.
Таким образом, получается полный дубляж с переводом на другой язык, но сохранением оригинального голоса.
Для того, что бы сгенерировать перевод видео в нейросети перейдём на сайт.
К сожалению русского языка на данный момент нет, поэтому, если вам потребуется перевод видео с того же Youtube, можно воспользоваться переводом на русский язык с использование субтитров.
Самый простой вариант – это найти нужное видео на YouTube или перезалить его. Потом достаточно будет нажать кнопку «Субтитры», и сервис автоматически расшифрует речь в текст, выведет дорожку на экран.
Чтобы получить готовый текст в файле, можно воспользоваться сервисом DownSub.com: просто вставляете ссылку на ролик и качаете субтитры в .txt. Кстати, этот же сайт умеет сразу переводить текст на нужный вам язык.
