Развитые системы искусственного интеллекта способны поставить под угрозу существование человечества и помочь злоумышленникам в разработке оружия массового поражения.
Как сообщает деловое издание «БИЗНЕС Online», разработчик нейросети Claude, компания Anthropic, включила соответствующее предупреждение в проспект своего первичного публичного размещения акций (IPO). Официальный документ был подан и опубликован на сайте Комиссии по ценным бумагам и биржам США (SEC).
В официальном обращении создатели технологии констатировали, что мощные алгоритмы «могут создавать катастрофические или экзистенциальные риски для человечества, особенно если такие системы используются во вред, копируются, превращаются в оружие или получают высокую степень автономности». В качестве наглядного примера компания указала на собственные флагманские модели, способные посодействовать злоумышленникам в получении биологического, химического или иного опасного оружия. Кроме того, среди актуальных угроз разработчики перечислили:
- способность ИИ умышленно скрывать или искажать исходные данные;
- попытки моделей противостоять их выключению оператором;
- совершение действий, которые авторы проспекта охарактеризовали как «напоминающим шантаж».
Спор о контроле: замедление разработок или технологическое лидерство
На фоне растущих рисков в индустрии углубилась дискуссия о темпах развития технологий. В сентябре руководитель Anthropic Дарио Амодеи выступил с инициативой замедлить исследования в сфере ИИ из-за опасности утраты контроля над алгоритмами — его позицию публично разделили создатель xAI Илон Маск и руководитель OpenAI Сэм Альтман. С альтернативным заявлением выступил президент США Дональд Трамп: он высказался против искусственного торможения отрасли, обосновав это тем, что лидерство в сфере передовых вычислений имеет первостепенное стратегическое значение для государства.
В свою очередь, глава корпорации Microsoft Сатья Наделла акцентировал внимание на технической стороне сдерживания. По его убеждению, технологическому сообществу необходимо сформировать единые отраслевые стандарты, а также внедрить надежные механизмы, гарантирующие человеку возможность приостановить выполнение задач или полностью отключить систему в любой момент времени.










