Google-ը ներկայացրեց Lumiere-ը՝ արհեստական բանականությամբ աշխատող «տարածաժամանակային դիֆուզիոն մոդել՝ իրատեսական տեսանյութերի ստեղծման համար»։.
Ինչպես ցույց է տվել պրակտիկան, սա, թերևս, այսօր առկա ամենահզոր արհեստական բանականության տեսանյութերի գեներատորն է, որը ստեղծում է դինամիկ պատկերներ՝ հիմնվելով տեքստային նկարագրությունների վրա։.
Google Lumiere-ի և առկա մրցակիցների միջև ամենակարևոր տարբերությունը դրա եզակի ճարտարապետությունն է. ամբողջ տեսանյութը ստեղծվում է մեկ անցումով: Այլ մոդելները գործում են տարբեր կերպ. դրանք ստեղծում են բազմաթիվ բանալի կադրեր, ապա կատարում են ժամանակային ինտերպոլյացիա, ինչը բարդացնում է ստեղծված տեսանյութի հետևողականությունը: Lumiere-ը գործում է մի քանի ռեժիմներով, ինչպիսիք են՝ տեքստը տեսանյութի վերածելը, ստատիկ պատկերները դինամիկի վերածելը, ձևանմուշի հիման վրա որոշակի ոճով տեսանյութեր ստեղծելը, գրավոր հուշումների հիման վրա առկա տեսանյութերը խմբագրելու թույլտվությունը, ստատիկ պատկերի որոշակի հատվածների անիմացիա կամ տեսանյութի հատվածների խմբագրում, օրինակ՝ մարդու վրա հագուստի իրը փոխելը:.
«Մենք մեր T2V [տեքստից տեսանյութ] մոդելը մարզում ենք 30 միլիոն տեսանյութերի տվյալների բազայի վրա՝ տեքստային ենթագրերով։ Տեսանյութերը 80 կադր երկարություն ունեն և աշխատում են վայրկյանում 16 կադր հաճախականությամբ։ Հիմնական մոդելը մարզվում է 128 x 128 պիքսել լուծաչափով», - բացատրեց Google-ը։ Արդյունքը 5 վայրկյան տևողությամբ տեսանյութեր են՝ 1024 x 1024 պիքսել լուծաչափով։.
Google Lumiere-ը, անշուշտ, առաջին արհեստական ինտելեկտի տեսանյութերի գեներատորը չէ: Google-ն ինքն է նախկինում ցուցադրել Imagen Video անվամբ մոդել, որը ստեղծում էր տեսանյութեր 1280 x 768 պիքսել լուծաչափով և 24 կադր վայրկյանում կադրերի հաճախականությամբ, սակայն դրա ստեղծագործությունները շատ ավելի համեստ էին: Meta✴ Make-A-Video, Runway Gen2 և Stable Video Diffusion նման նախագծերը տվեցին պակաս իրատեսական արդյունքներ: Google-ը ընդունում է նման նախագծերի կարող է լինել սպառնալիքը. «Մեր հիմնական նպատակն այս աշխատանքում սկսնակ օգտատերերին հնարավորություն տալ ճկուն և ստեղծագործաբար ստեղծել տեսողական բովանդակություն: Այնուամենայնիվ, կա մեր տեխնոլոգիայի չարաշահման ռիսկ, և մենք կարծում ենք, որ կարևոր է մշակել և ներդնել գործիքներ՝ կողմնակալությունը և չարամիտ օգտագործումը հայտնաբերելու համար՝ մոդելի անվտանգ և արդար գործունեությունն ապահովելու համար»:.
