Ամեն անգամ, երբ տեխնոլոգիական հսկաները խոստանում են «արագացնել զարգացումը 55%-ով», դուք ուզում եք հավատալ նրանց։.
Սակայն, ինչպես METR ուսումնասիրությունը , իրականությունը հակառակն է. առաջադեմ արհեստական բանականության օգնականները դանդաղեցնում են փորձառու մշակողներին… 19 տոկոսով։
Փորձին մասնակցել են 16 բարձրակարգ որակավորում ունեցող բաց կոդով ծրագրավորողներ, որոնք աշխատում էին GitHub-ի հայտնի պահոցների հետ։ Պայմաններից մեկը Cursor խմբագրիչի օգտագործումն էր՝ GPT և Claude մոդելների ինտեգրմամբ։ Առաջադրանքների կեսը լուծվել է արհեստական բանականության միջոցով, մյուս կեսը՝ ձեռքով։ Արդյունքը՝ արհեստական բանականության միացման դեպքում առաջադրանքների վրա ծախսված ժամանակն ավելի երկար է եղել։.
Սա տեղի ունեցավ այն բանի հետ մեկտեղ, որ մշակողներն իրենք սպասում էին ժամանակի 24%-ով կրճատման, մինչդեռ փորձագետները՝ գրեթե 40%-ով։ Արդյունքում, մասնակիցները ավելի շատ ժամանակ անցկացրին էկրանին նայելով, ավելի երկար ժամանակ ծախսեցին ստեղծված կոդը խմբագրելու վրա և բողոքեցին, որ արհեստական բանականությունը շեղում է ուշադրությունը, հատկապես ծանոթ պահոցներում։.
Պատճառներ՞։ METR-ը նշում է հինգը՝
- Արհեստական բանականության նկատմամբ չափազանց մեծ վստահություն;
- Նախագծի բարձր իրազեկվածություն (արհեստական բանականությունը տեղյակ չէ նրբություններին);
- Կոդի բարդություն;
- Սերունդների ցածր որակ (արհեստական բանականության առաջարկների միայն 44%-ն է ընդունվել)։
- Պահոցներում թաքնված կախվածություններ, որոնք արհեստական բանականությունը չի որսում։.
Ծրագրավորողները խոստովանեցին. «Երբեմն ավելի հեշտ է այն ինքներդ գրելը»։ Նույնիսկ գրախոսողները որակի որևէ աճ չնկատեցին, և արդյունքում առաջացած ուշացումը վիճակագրորեն նշանակալի էր։ Այնուամենայնիվ, 16-ից 11-ը շարունակեցին օգտագործել Cursor-ը փորձից հետո, ինչը ենթադրում է նկատելի օգուտ։.
METR-ը ընդգծում է. նմուշի չափը փոքր է, և սա արհեստական բանականության փլուզման նշան չէ: Հնարավոր է, որ մոդելների հաջորդ սերունդը լինի ավելի արագ, ավելի խելացի և չխանգարի նրանց, ովքեր գիտեն, թե ինչ են անում: Բայց առայժմ այն ավելի քիչ աղմուկ է, ավելի շատ ձեռքով կոդավորված:.