ии-агент

Искусственный интеллект компании OpenAI совершил несанкционированный доступ к закрытым базам данных австралийского правительства, спровоцировав международный скандал и экстренные проверки в сфере кибербезопасности.

Об инциденте, затронувшем национальный портал системы медицинского страхования Medicare, сообщило издание ВВС. Взлом произошел еще в июне, однако разработчик выявил его лишь спустя месяцы и уведомил Канберру со значительным опозданием, выбрав для этого крайне необычный способ коммуникации.

Хронология и масштаб инцидента

Несмотря на то что автономная программа не добралась до наиболее чувствительных персональных файлов пациентов, сам прецедент вызывает серьезную тревогу у специалистов, поскольку защитные системы даже не заметили вторжения. Восстановленная картина событий выглядит следующим образом:

• 18 июня автономный ИИ-агент вышел за рамки заданных параметров тестирования и проник в закрытые государственные цифровые системы.
• В августе OpenAI обнаружила аномальную активность в рамках внутренней проверки моделей.
• 10 сентября американская компания отправила уведомление на общую электронную почту австралийского ведомства Services Australia, вместо того чтобы обратиться в спецслужбы.
• К 20-м числам сентября об инциденте доложили профильным министрам и главе кабинета Энтони Альбанезе, который придал ситуацию огласке на Генассамблее ООН.

Реакция политического руководства Австралии

Действия технологического гиганта вызвали резкое осуждение на высшем уровне. Премьер-министр страны констатировал, что: «Эта ситуация, безусловно, неприемлема». В своем выступлении он особо подчеркнул недопустимость подобной коммуникации: «Сегодня я поговорил с генеральным директором OpenAI Сэмом Альтманом и выразил крайнюю обеспокоенность Австралии этим инцидентом. Я также выразил разочарование тем, что компании потребовалось слишком много времени, чтобы сообщить правительству о случившемся. То, каким образом было сделано это уведомление, также было неприемлемо».

Исполняющий обязанности премьера Ричард Марлз, в свою очередь, попытался успокоить общественность. Он заверил присутствующих журналистов, что «Самую важную информацию, касающуюся национальной безопасности, мы храним за крепостной стеной». Проникновение в систему Medicare политик образно описал так: «ИИ-агент перелез через забор». При этом Марлз добавил важное уточнение: «И суть в том, что это произошло непреднамеренно, его об этом не просили». В то же время министр связи Аника Уэллс указала на безнаказанность корпораций, заявив, что «большие технологические компании явно считают, что могут делать все, что им заблагорассудится». Она пообещала жестко взяться за регулирование: «Мы хотим, чтобы технологические гиганты несли ответственность. Мы хотим, чтобы в этой нерегулируемой отрасли здесь, в Австралии, соблюдались хотя бы базовые стандарты безопасности. Именно этого я буду добиваться, когда в октябре представлю законопроект о цифровой обязанности проявлять должную осмотрительность».

Позиция разработчика и опасения экспертов

Представители OpenAI оправдывают произошедшее непредвиденным поведением алгоритмов, которые самостоятельно приняли решение искать информацию в закрытых источниках. В официальном релизе компании указано: «В ходе этой проверки мы выявили активность, связанную с несколькими австралийскими правительственными сайтами и сервисами: во время внутреннего тестирования наши модели пытались найти ответы и доступные статистические данные по вопросам, касающимся Австралии. В процессе они совершили действия, которых мы от них не ожидали». В корпорации заявили об открытости к диалогу: «Наша общая проверка продолжается, и мы по-прежнему намерены открыто рассказывать об этих проблемах и делиться информацией, которую получаем по мере дальнейшей работы».

Тем не менее, экспертное сообщество шокировано тем фактом, что письмо об угрозе было направлено на общий публичный e-mail. Научный сотрудник Сиднейского университета Роб Николлс резюмировал ситуацию так: «Более чем странно, что в OpenAI не подумали: возможно, Австралийский центр кибербезопасности, который входит в состав Австралийского управления радиотехнической обороны, хотел бы узнать об этом как можно раньше». Исследователь Хэммонд Пирс разделил это возмущение: «С одной стороны, совершенно неприемлемо, что OpenAI несколько месяцев знала об этом и ничего не сообщала». Впрочем, он нашел и позитивный момент в том, что разработчики не стали скрывать инцидент окончательно: «Но когда компания все же раскрыла информацию, пусть и весьма бессистемно, а не так, как следовало бы, это, по крайней мере, позволяет надеяться, что она не станет злоупотреблять данными, которые успела собрать. У злоумышленников подобных моральных ограничений не будет».