Browserul Yandex traduce acum videoclipuri din chineză și adaugă automat voce în limba rusă, potrivit site -ului web al companiei.
Serviciul de presă a explicat că tehnologia Yandex se bazează pe rețele neuronale care funcționează aproape ca niște traducătoare simultane.
În prima etapă, rețeaua neuronală a învățat să transforme vorbirea chineză în text folosind 100.000 de fișiere audio cu cele mai precise transcrieri, selectate de un algoritm separat din 1,5 milioane de videoclipuri.
Rețeaua neuronală a fost învățată și să ia în considerare tonurile și contextul, astfel încât algoritmul poate acum distinge 6.500 de caractere, în timp ce 2.000 sunt suficiente pentru comunicare. În plus, algoritmul a fost învățat să împartă un flux continuu de caractere în segmente semnificative pentru a sincroniza cu precizie traducerea cu vorbirea.
Yandex a dezvăluit pentru prima dată un prototip al tehnologiei sale de voice-over bazate pe învățare automată în iulie 2021. La acea vreme, algoritmul putea traduce videoclipuri doar în limba rusă și engleză. Acum, rețeaua neuronală poate traduce videoclipuri din engleză, spaniolă, franceză, italiană și germană.
