Закадровый перевод англоязычных видео
Яндекс таки запустил сервис автоматического закадрового перевода англоязычных видео в Youtube и Vimeo.
Пользователям "Яндекс.Браузера" и в мобильных приложениях стал доступен закадровый перевод видео с английского языка. Поддерживаются как мужской, так и женский голос, сообщается в пресс-релизе "Яндекса".
Перевод происходит в несколько этапов. Сначала ИИ распознает речь, превращает ее в текст и с помощью нейросетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык и синтезирует голос. Остается совместить перевод с видеорядом. Это совсем не тривиальная задача, потому что в русском языке предложения длиннее, чем в английском. Здесь на помощь снова приходят нейросети.
Поэтому процесс перевода занимает несколько минут - для этого нужно поставить видео на паузу и подождать. Как только все будет готово, пользователю придет соответствующее уведомление.
Согласно заявлению компании, поддерживаются любые англоязычные видео на YouTube, Vimeo и других популярных платформах. Перевод доступен в "Яндекс.Браузере" для Windows, macOS, Linux и Android и в мобильном приложении для Android и iOS. (Отсюда.)
В Яндекс.Браузере при просмотре англоязычных роликов на соответствующем сервисе появляется вот такая надпись.
Если нажать на кнопку включить, то может сразу пойти автоматический перевод, а может появиться вот такая надпись, и тогда придется подождать, прежде чем перевод будет готов.
Погонял разные ролики. Вообще очень прикольно и прямо-таки впечатляет. Понятно, что лучше всего включать перевод на сольных выступлениях, ну и понятно, что там будет немало всяких огрехов (это совершенно неудивительно), но в общем и целом понять смысл того, о чем говорится - вполне можно. И это круто!
Заметно хуже, когда разговаривают несколько людей и еще друг друга перебивают, но и с таким вариантом сервис более или менее справился.
