Каждый раз, когда техногиганты обещают «ускорить разработку на 55%», хочется верить.
Но как показало исследование METR, реальность оказалась противоположной: продвинутые ИИ-помощники замедляют опытных разработчиков… на 19 процентов!
В эксперименте участвовали 16 высококлассных open source-программистов, работающих с популярными репозиториями на GitHub. Одним из условий было использование редактора Cursor с интеграцией моделей GPT и Claude. Половину задач они решали с помощью ИИ, вторую — вручную. Результат: при разрешённом использовании ИИ времени уходило больше.
И это несмотря на то, что сами разработчики ожидали сокращения времени на 24%, а эксперты — почти на 40%. В итоге участники чаще тупили в экран, дольше правили сгенерированный код и жаловались, что ИИ мешал, особенно в знакомых репозиториях.
Причины? METR называет пять:
- Избыточная вера в ИИ;
- Высокая осведомлённость о проекте (ИИ не в курсе нюансов);
- Сложность кода;
- Низкое качество генераций (принято только 44% предложений от ИИ);
- Скрытые зависимости внутри репозиториев, которые ИИ не улавливает.
Программисты признавались: «Иногда легче написать самому». Даже ревьюеры не фиксировали прироста качества, а итоговая задержка оказалась статистически значимой. Тем не менее, 11 из 16 продолжили использовать Cursor после эксперимента — значит, польза всё же ощущается.
METR подчёркивает: выборка мала, и речь не о крахе ИИ. Возможно, следующее поколение моделей будет быстрее, умнее и не станет мешать тем, кто знает, что делает. Но пока что — меньше шума, больше кода руками.
Добавить комментарий
Для отправки комментария вам необходимо авторизоваться.