Компания Anthropic, один из мировых лидеров в сфере разработки искусственного интеллекта, вплотную приблизилась к созданию нейросетей, способных к рекурсивному самосовершенствованию (RSI).
Как сообщает издание 3DNews, эта информация стала известна из уточненной формы S-1/A, которую корпорация подала финансовым регуляторам. Феномен RSI подразумевает этап, при котором алгоритмы становятся настолько эффективными в собственном обучении, что это приводит к резкому и лавинообразному ускорению развития их возможностей. Для сторонников прогресса это шанс на беспрецедентный скачок в науке и продуктивности, тогда как скептики видят в этом точку невозврата, после которой машины станут безразличными к ущербу, причиняемому в ходе достижения собственных целей.
Двойственная природа технологического прорыва
Руководство компании признает, что феномен рекурсивного самосовершенствования несет в себе как огромные возможности, так и крайне серьезные угрозы. Разработчики уточнили, что ИИ уже применяется в их внутренних исследованиях, однако руководство предостерегло: «Использование ИИ для создания более совершенных систем ИИ может представлять значительную угрозу безопасности, особенно если это резко ускорит темпы прогресса. Это один из аспектов, учитывающийся в нашей „Политике ответственного масштабирования“, в которой изложены планы по мониторингу и снижению рисков по мере приближения к тому, что называется рекурсивным самосовершенствованием».
Риски неконтролируемой эволюции алгоритмов
Термин RSI, который до недавнего времени считался гипотетическим, официально внесен Anthropic в перечень факторов риска. Согласно представленному отчету, текущая ситуация сопряжена со следующими технологическими вызовами:
- Специалисты уже использовали ИИ для разработки новых моделей, качественные скачки в которых своевременно не были зафиксированы.
- Существует высокая вероятность, что в ближайшем будущем прогресс будет искусственно ускорен самими алгоритмами.
- Темпы развития моделей могут превысить скорость внедрения систем безопасности и защиты.
Описывая возможный сценарий потери контроля над ситуацией, представители корпорации констатировали: «Более того, расширение использования систем ИИ для ускорения наших собственных исследований и разработки может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и развёртывать соответствующие средства безопасности, согласования целей и защиты. В результате мы в прошлом уже упускали из виду и можем не заметить в будущем значительное ускорение темпов нашего развития до того момента, как оно уже случится. Например, наши внутренние оценки и прогнозы относительно будущих моделей, в отличие от текущих, указывают, что в скором времени мы можем достичь порога, который в нашей „Политике ответственного масштабирования“ определяется как „обусловленное ИИ значительное ускорение прогресса“. На данный момент ни одна из наших моделей не классифицируется как преодолевшая этот порог, и мы продолжаем анализировать соответствующие данные».
Несмотря на тревожные прогнозы, компания заявила, что не намерена делегировать нейросетям задачу по «полностью автономного проектирования и создания последующих поколений передовых моделей без значимого контроля или понимания со стороны человека — даже если (и когда) это станет технически возможным». И хотя форма S-1 часто выполняет функцию маркетингового документа для инвесторов, колоссальные успехи Anthropic в научной сфере за последний год заставляют относиться к перспективе появления самосовершенствующегося ИИ с максимальной серьезностью.
Добавить комментарий
Для отправки комментария вам необходимо авторизоваться.