Ամեն անգամ, երբ տեխնոլոգիական հսկաները խոստանում են «արագացնել զարգացումը 55%-ով», դուք ուզում եք հավատալ նրանց։.
Սակայն, ինչպես ուսումնասիրությունը METR, իրականությունը հակառակն է. առաջադեմ արհեստական բանականության օգնականները դանդաղեցնում են փորձառու մշակողներին… 19 տոկոսով։
Փորձին մասնակցել են 16 բարձրակարգ որակավորում ունեցող բաց կոդով ծրագրավորողներ, որոնք աշխատում էին GitHub-ի հայտնի պահոցների հետ։ Պայմաններից մեկը Cursor խմբագրիչի օգտագործումն էր՝ GPT և Claude մոդելների ինտեգրմամբ։ Առաջադրանքների կեսը լուծվել է արհեստական բանականության միջոցով, մյուս կեսը՝ ձեռքով։ Արդյունքը՝ արհեստական բանականության միացման դեպքում առաջադրանքների վրա ծախսված ժամանակն ավելի երկար է եղել։.
Սա տեղի ունեցավ այն բանի հետ մեկտեղ, որ մշակողներն իրենք սպասում էին ժամանակի 24%-ով կրճատման, մինչդեռ փորձագետները՝ գրեթե 40%-ով։ Արդյունքում, մասնակիցները ավելի շատ ժամանակ անցկացրին էկրանին նայելով, ավելի երկար ժամանակ ծախսեցին ստեղծված կոդը խմբագրելու վրա և բողոքեցին, որ արհեստական բանականությունը շեղում է ուշադրությունը, հատկապես ծանոթ պահոցներում։.
Պատճառներ՞։ METR-ը նշում է հինգը՝
- Արհեստական բանականության նկատմամբ չափազանց մեծ վստահություն;
- Նախագծի բարձր իրազեկվածություն (արհեստական բանականությունը տեղյակ չէ նրբություններին);
- Կոդի բարդություն;
- Սերունդների ցածր որակ (արհեստական բանականության առաջարկների միայն 44%-ն է ընդունվել)։
- Պահոցներում թաքնված կախվածություններ, որոնք արհեստական բանականությունը չի որսում։.
Ծրագրավորողները խոստովանեցին. «Երբեմն ավելի հեշտ է այն ինքներդ գրելը»։ Նույնիսկ գրախոսողները որակի որևէ աճ չնկատեցին, և արդյունքում առաջացած ուշացումը վիճակագրորեն նշանակալի էր։ Այնուամենայնիվ, 16-ից 11-ը շարունակեցին օգտագործել Cursor-ը փորձից հետո, ինչը ենթադրում է նկատելի օգուտ։.
METR-ը ընդգծում է. նմուշի չափը փոքր է, և սա արհեստական բանականության փլուզման նշան չէ: Հնարավոր է, որ մոդելների հաջորդ սերունդը լինի ավելի արագ, ավելի խելացի և չխանգարի նրանց, ովքեր գիտեն, թե ինչ են անում: Բայց առայժմ այն ավելի քիչ աղմուկ է, ավելի շատ ձեռքով կոդավորված:.