Технологиялық алыптар «дамуды 55%-ға жеделдетеміз» деп уәде берген сайын, сіз оларға сенгіңіз келеді.
Бірақ METR зерттеуі көрсеткендей , іс жүзінде керісінше: озық жасанды интеллект көмекшілері тәжірибелі әзірлеушілердің жұмысын 19 пайызға баяулатады!
Тәжірибеге танымал GitHub репозиторийлерімен жұмыс істейтін 16 жоғары білікті ашық бастапқы кодты бағдарламашы қатысты. Шарттардың бірі GPT және Claude модельдерін интеграциялау арқылы Cursor редакторын пайдалану болды. Тапсырмалардың жартысы жасанды интеллект көмегімен, ал екінші жартысы қолмен шешілді. Нәтижесі: жасанды интеллект қосылған кезде тапсырмаларға жұмсалатын уақыт ұзағырақ болды.
Бұл әзірлеушілердің өздері уақыттың 24%-ға қысқаруын күткеніне қарамастан болды, ал сарапшылар шамамен 40%-ға қысқаруын күтті. Нәтижесінде қатысушылар экранға көбірек қарап, жасалған кодты өңдеуге көбірек уақыт жұмсады және жасанды интеллекттің, әсіресе таныс репозиторийлерде, алаңдататынына шағымданды.
Себептері? METR бесеуін атайды:
- Жасанды интеллектке шамадан тыс сенім;
- Жоба туралы жоғары хабардарлық (ЖИ нюанстарды білмейді);
- Кодтың күрделілігі;
- Буындардың сапасының төмендігі (жасанды интеллект бойынша ұсыныстардың тек 44%-ы ғана қабылданды);
- Жасанды интеллект анықтай алмайтын репозиторийлердегі жасырын тәуелділіктер.
Бағдарламашылар: «Кейде оны өзіңіз жазу оңайырақ», - деп мойындады. Тіпті шолушылар да сапаның жақсарғанын байқамады, ал нәтижесінде пайда болған кідіріс статистикалық тұрғыдан маңызды болды. Соған қарамастан, 16 адамның 11-і эксперименттен кейін Cursor бағдарламасын пайдалануды жалғастырды, бұл айтарлықтай пайда әкелді.
METR мынаны баса айтады: үлгі көлемі аз, және бұл жасанды интеллекттің күйреуінің белгісі емес. Мүмкін, келесі буын модельдері жылдамырақ, ақылдырақ болады және не істеп жатқанын білетіндерге кедергі келтірмейді. Бірақ әзірге бұл аз шу, қолмен кодтау.