ყოველ ჯერზე, როდესაც ტექნოლოგიური გიგანტები გვპირდებიან „განვითარების 55%-ით დაჩქარებას“, მათი დაჯერება გიწევთ.
თუმცა, როგორც METR კვლევამ , რეალობა საპირისპიროა: მოწინავე ხელოვნური ინტელექტის ასისტენტები გამოცდილ დეველოპერებს 19 პროცენტით ანელებენ!
ექსპერიმენტში მონაწილეობდა 16 მაღალკვალიფიციური ღია კოდის პროგრამისტი, რომლებიც მუშაობდნენ პოპულარულ GitHub საცავებთან. ერთ-ერთი პირობა იყო Cursor რედაქტორის გამოყენება GPT და Claude მოდელების ინტეგრაციით. დავალებების ნახევარი ამოხსნილი იყო ხელოვნური ინტელექტის გამოყენებით, მეორე ნახევარი კი ხელით. შედეგი: ხელოვნური ინტელექტის ჩართვის შემთხვევაში, დავალებებზე დახარჯული დრო უფრო მეტი იყო.
ეს მოხდა იმის მიუხედავად, რომ თავად დეველოპერები დროის 24%-ით შემცირებას ელოდნენ, ექსპერტები კი თითქმის 40%-ით. შედეგად, მონაწილეები მეტ დროს უთმობდნენ ეკრანს, უფრო მეტ დროს უთმობდნენ გენერირებული კოდის რედაქტირებას და უჩიოდნენ, რომ ხელოვნური ინტელექტი ყურადღებას აფანატებდა, განსაკუთრებით ნაცნობ საცავებში.
მიზეზები? METR ხუთ მიზეზს ასახელებს:
- ხელოვნური ინტელექტის მიმართ გადაჭარბებული რწმენა;
- პროექტის მაღალი ცნობიერება (ხელოვნური ინტელექტი არ აცნობიერებს ნიუანსებს);
- კოდის სირთულე;
- თაობების დაბალი ხარისხი (ხელოვნური ინტელექტის წინადადებების მხოლოდ 44% იქნა მიღებული);
- საცავებში არსებული ფარული დამოკიდებულებები, რომლებსაც ხელოვნური ინტელექტი ვერ აფიქსირებს.
პროგრამისტებმა აღიარეს: „ზოგჯერ უფრო ადვილია თავად დაწერო“. რეცენზენტებმაც კი ვერ შენიშნეს ხარისხის გაუმჯობესება და შედეგად მიღებული შეფერხება სტატისტიკურად მნიშვნელოვანი იყო. მიუხედავად ამისა, ექსპერიმენტის შემდეგ 16-დან 11-მა განაგრძო Cursor-ის გამოყენება, რაც შესამჩნევ სარგებელზე მიუთითებს.
METR ხაზს უსვამს: ნიმუშის ზომა მცირეა და ეს არ არის ხელოვნური ინტელექტის კოლაფსის ნიშანი. შესაძლოა, მოდელების შემდეგი თაობა უფრო სწრაფი, ჭკვიანი იყოს და არ შეეხოს მათ, ვინც იცის თავისი საქმე. თუმცა, ამ ეტაპზე, ეს ნაკლები ხმაურია, უფრო ხელით კოდირებული.
