De fiecare dată când giganții tehnologici promit să „accelereze dezvoltarea cu 55%”, vrei să-i crezi.
Însă, așa cum studiul METR , realitatea este opusă: asistenții avansați bazați pe inteligență artificială încetinesc dezvoltatorii experimentați... cu 19%!
Experimentul a implicat 16 programatori open source cu înaltă calificare, care lucrau cu repozitorii GitHub populare. Una dintre condiții a fost utilizarea editorului Cursor cu integrarea modelelor GPT și Claude. Jumătate din sarcini au fost rezolvate folosind inteligența artificială, cealaltă jumătate manual. Rezultatul: cu inteligența artificială activată, timpul petrecut cu sarcinile a fost mai lung.
Acest lucru s-a întâmplat în ciuda faptului că dezvoltatorii înșiși se așteptau la o reducere de 24% a timpului, în timp ce experții se așteptau la o reducere de aproape 40%. Drept urmare, participanții au petrecut mai mult timp holbându-se la ecran, au petrecut mai mult timp editând codul generat și s-au plâns că inteligența artificială era deranjantă, în special în depozitele familiare.
Motive? METR numește cinci:
- Încredere excesivă în IA;
- Conștientizare ridicată a proiectului (IA nu este conștientă de nuanțe);
- Complexitatea codului;
- Calitatea scăzută a generațiilor (doar 44% din propunerile de IA au fost acceptate);
- Dependențe ascunse în repozitorii pe care inteligența artificială nu le detectează.
Programatorii au recunoscut: „Uneori e mai ușor să scrii singur”. Nici măcar recenzorii nu au observat vreo creștere a calității, iar întârzierea rezultată a fost semnificativă statistic. Cu toate acestea, 11 din 16 au continuat să utilizeze Cursor după experiment, ceea ce sugerează un beneficiu vizibil.
METR subliniază: dimensiunea eșantionului este mică, iar acesta nu este un semn al colapsului inteligenței artificiale. Poate că următoarea generație de modele va fi mai rapidă, mai inteligentă și nu va interfera cu cei care știu ce fac. Dar, deocamdată, este mai puțin zgomot, mai mult codificat manual.