«Яндекс Браузер» запустил перевод видео с китайского языка - видео

«Яндекс Браузер» запустил перевод видео с китайского языка — видео

« Браузер» теперь переводит видео с китайского и автоматически накладывают русскую озвучку. Об этом говорится на сайте компании.

В пресс-службе рассказали, что в основе технологии «Яндекса» лежат нейросети, которые работают почти как синхронные переводчики.

На первом этапе нейросеть научилась трансформировать китайскую речь в текст на примере 100 тыс. аудиофайлов с самыми точными расшифровками, которые отдельный алгоритм выбрал из 1,5 млн видеороликов.

Нейросеть также научили учитывать тоны и контекст, поэтому на сегодняшний момент алгоритм различает 6500 иероглифов, когда для общения достаточно 2000. Помимо этого, алгоритм обучили делить сплошной поток иероглифов на смысловые отрезки для точной синхронизации перевода с речью.

Впервые «Яндекс» представил прототип технологии, которая при помощи машинного обучения делает закадровый перевод видео, в июле 2021 года. Тогда алгоритм мог переводить лишь на и только англоязычные ролики. Сейчас нейросеть может перевести ролики как с английского, так и с испанского, французского, итальянского и немецкого.

Читать в источнике