«Яндекс» сделал закадровый перевод видео в браузере многоголосым

В «Яндекс Браузере» появился многоголосый закадровый перевод видео, сообщает пресс-служба компании.

Разработчики увеличили количество голосов до 12 — 6 мужских и 6 женских. До этого закадровый перевод ограничивался двумя голосами. По оценке команды, около половины иностранных роликов на YouTube — это видео с тремя и более спикерами. Именно поэтому было решено добавить 10 новых голосов.

В компании рассказали, что первым делом нейросеть преобразует речь в текст, расставляет знаки препинания и определяет начало и конец предложений. После этого уже другая нейросеть анализирует спектрограмму голоса, распознает фрагменты, сказанные разными людьми, и фиксирует это на аудиодорожке.

«Яндекс» представил технологию закадрового перевода в 2021 г. Сначала нейросеть могла переводить ролики только на английском языке, позже разработчики обучили ее итальянскому, немецкому, французскому и испанскому. В компании рассказали, что планируется добавить еще несколько языков, в частности, китайский.

В августе 2022 г. «Яндекс» добавил в браузер технологию автоматического закадрового перевода прямых трансляций на YouTube. На данный момент технология работает в режиме открытого тестирования. Пользователям доступен перевод для каналов Apple, NASA, космической компании Илона Маска SpaceX, а также платформы для выступления спикеров TED и др.

Подписывайтесь на «Ведомости» в Telegram и будьте в курсе главных новостей экономики и бизнеса