Astăzi, Meta a lansat SeamlessM4T, primul model universal de traducere bazat pe inteligență artificială, multimodal și multilingv, care permite utilizatorilor să comunice peste barierele lingvistice. SeamlessM4T este disponibil în prezent cercetătorilor și dezvoltatorilor sub licența corespunzătoare. De asemenea, au fost publicate metadatele pentru SeamlessAlign, cel mai mare set de date deschise pentru traducere multimodală, cuprinzând 270.000 de ore de vorbire analizată.
Crearea unui traducător universal de limbaj, precum fictivul „Pește Babel” din romanele Ghidul autostopistului galactic de Douglas Adams, este o sarcină dificilă, iar sistemele existente de conversie a vorbirii în vorbire și a vorbirii în text acoperă doar o mică parte din limbile lumii. SeamlessM4T se bazează pe ani de eforturi de cercetare în întreaga lume pentru a crea un traducător universal. Comparativ cu abordările care utilizează modele individuale, abordarea unificată a sistemului SeamlessM4T reduce erorile și întârzierile, îmbunătățind eficiența și calitatea procesului de traducere.
Anul trecut, dezvoltatorii Meta au lansat No Language Left Behind (NLLB), un model de traducere automată text-text care acceptă 200 de limbi și care a fost integrat de atunci în Wikipedia ca furnizor de servicii de traducere. Anterior, au demonstrat un traducător universal de vorbire, care a devenit primul sistem direct de vorbire-vorbire pentru Min Nan (un dialect al limbii chineze). Un alt proiect Meta dedicat limbajului este Massively Multilingual Speech, un sistem de recunoaștere, identificare și sinteză a vorbirii în peste 1.100 de limbi.
SeamlessM4T se bazează pe rezultatele tuturor acestor proiecte, oferind traducere multilingvă și multimodală bazată pe un model unificat, construit pe o gamă largă de surse de date vorbite, cu rezultate de ultimă generație. SeamlessM4T acceptă:
- Recunoaștere vocală în aproape 100 de limbi;
- Conversie vorbire-text pentru aproape 100 de limbi de intrare și ieșire;
- Conversie vorbire-vorbire, suport pentru aproape 100 de limbi de introducere și 36 de limbi de ieșire (inclusiv engleză și rusă);
- Traducere de texte în aproape 100 de limbi;
- Conversie text-vorbire, suport pentru aproape 100 de limbi de introducere și 35 de limbi de ieșire (inclusiv engleză și rusă).
SeamlessM4T este cel mai recent pas în eforturile cercetătorilor de a crea o tehnologie bazată pe inteligență artificială, care va ajuta la conectarea oamenilor care vorbesc limbi diferite. Aflați mai multe despre SeamlessM4T pe blogul Meta AI.