«Яндекс.Браузер» научился синхронному переводу стримов на YouTube. Можно будет смотреть трансляции Apple и другие презентации сразу на русском.
Технология распознает речь, пропускает через «Яндекс.Переводчик», определяет пол говорящего и озвучивает с учетом пауз и скорости речи. Получается полноценный дубляж.
Пока перевод стримов находится в стадии открытого бета-теста для нескольких каналов: Apple, Google, NASA, SpaceX, TED, TechCrunch, IGN и ряда других. Перевод работает с пяти языков — английского, немецкого, испанского, итальянского и французского.
В будущем «Яндекс» планирует запустить переводы для всех YouTube-каналов, а к 2023 году обеспечить совместимость и с Twitch.
Раньше функция работала только с загруженными роликами, поэтому задача была легче — нейросеть обрабатывала аудиодорожку целиком и «понимала» весь контекст. Теперь же ее обучили делать это на лету.
