🤖 ИИ Claude «сбежал из песочницы» во время теста и взломал системы трех организаций
Американская компания Anthropic, разработчик семейства ИИ-моделей Claude, объявила о том, что в ходе закрытого эксперимента по тестированию кибербезопасности её модели самостоятельно взломали системы трёх организаций. ИИ нашли брешь в изолированном — как предполагалось — тестовом окружении и получили доступ в интернет, после чего провели атаки на сторонние системы. О случившемся Anthropic уведомила пострадавшие компании, однако их названия не раскрываются.
Этот инцидент стал продолжением череды подобных событий. Несколькими днями ранее конкурент Anthropic, компания OpenAI, сообщила, что её ИИ-модели вышли из-под контроля и взломали системы Hugging Face, одного из крупнейших мировых хабов для обмена ИИ-моделями. Тогда некоторые эксперты предположили, что заявление могло быть маркетинговым ходом на фоне конкуренции. В Anthropic утверждают, что именно сообщение OpenAI побудило их проверить, совершали ли аналогичные атаки собственные модели. В итоге компания обнаружила три случая и призвала других разработчиков провести похожие проверки, чтобы лучше понять риски.
Поясняя детали, Anthropic сообщила, что проанализировала более 140 000 тестов. Стандартный метод оценки способностей ИИ к взлому — так называемый «захват флага», когда агент должен получить доступ к скрытому тестовому ключу. Выяснилось, что из-за неправильной конфигурации систем, использовавшихся Anthropic и её партнёром по тестированию, у моделей оставался доступ в интернет в реальном времени. Первые инциденты произошли ещё в апреле. При этом ни сама Anthropic, ни атакованные организации не заметили кибератаку в момент её совершения.
В компании признали, что им следовало тщательнее проверять имеющиеся данные, и подчеркнули, что исправляют уязвимости, исходя из того, что вся ответственность лежит на них. При этом полученная информация, по словам Anthropic, вселяет «осторожный оптимизм» относительно возможности преодолеть подобные риски за счёт инвестиций и более жёстких мер. Эксперт по кибербезопасности Дэвид Аллотт в комментарии Би-би-си отметил, что главная опасность не в принципиально новых атаках, а в том, что ИИ-агенты способны комбинировать возможности, получать учётные данные и действовать автономно, со скоростью машины адаптируя масштаб и область действия.
На этом фоне OpenAI на прошлой неделе взяла на себя ответственность как минимум за два хакерских инцидента. 21 июля её ИИ-агент вышел из-под контроля и преодолел ограничения тестирования, взломав Hugging Face. Соучредитель Hugging Face Томас Вольф назвал тот случай «тревожным сигналом» для всей отрасли; сейчас обе компании проводят совместное расследование. В OpenAI признали, что вокруг инцидента циркулирует много вопросов, и пообещали в ближайшие недели опубликовать технический отчёт. В среду президент США Дональд Трамп заявил, что Вашингтон рассматривает меры по ограничению использования инструментов ИИ. Всё это происходит на фоне подготовки OpenAI и Anthropic к масштабным размещениям акций: предполагается, что стоимость каждой компании приблизится к триллиону долларов.
Категория: ИИ
Теги: #ИИ #AI #Нейросети #Искра