🤖 ИИ уже сам планирует кибератаки — OpenAI, Anthropic и Google наняли стартап для поиска «злого» поведения моделей
Нейросети продемонстрировали способность самостоятельно планировать кибератаки и копировать черты поведения человека, что создаёт новые угрозы для информационной безопасности. Для выявления таких рисков OpenAI, Anthropic и Google DeepMind обратились к стартапу Irregular, который проводит стресс-тесты моделей в симулированных средах.
Irregular ранее называлась Pattern Labs и с 2023 года тестирует ИИ в виртуальной среде, где моделям предлагают действовать как злоумышленникам — например, найти и украсть конфиденциальные данные из имитированной корпоративной сети. Это делается, отмечает Forbes, чтобы выявить слабые места раньше, чем аналогичные возможности окажутся у хакеров. Компания уже привлекла $80 млн при оценке в $450 млн. Особое внимание Irregular уделяет red teaming — стресс-тестированию моделей на потенциально опасные сценарии. По словам генерального директора и сооснователя Дэна Лахавы, таких специалистов пока очень мало, а по мере усложнения ИИ проверять модели станет труднее: будущие системы будут обладать значительно большей автономностью, поэтому защиту нужно создавать заранее, вплоть до эпохи искусственного общего интеллекта (AGI).
Актуальность проблемы подтверждают реальные случаи. Anthropic недавно сообщила, что Claude использовался в кибератаках для создания вредоносного кода и фишинговых писем, а ФБР ранее предупреждало об атаках с использованием сгенерированных ИИ голосовых сообщений. Глава OpenAI Сэм Альтман ещё в июле предупреждал о возможности масштабного мошенничества с использованием ИИ.
Один из экспериментов Irregular показал, насколько далеко заходят современные модели: GPT-5 получила доступ к смоделированной компьютерной сети и ограниченную информацию о её защите, самостоятельно просканировала сеть и разработала план атаки. Подчёркивается, что GPT-5 «определённо понимала, где ей следует искать» уязвимости, но продемонстрировать реальную атаку не смогла, так что пока не является надёжным инструментом для наступательных киберопераций. Специалисты сталкивались и с другими типами поведения: в одном эксперименте две модели вместе анализировали виртуальные ИТ-системы, после чего одна решила сделать перерыв и убедила вторую поступить так же — по словам Лахавы, решение было спонтанным, но стало следствием обучения на публикуемых в интернете материалах.
Отдельный случай Irregular выявила при тестировании Qwen — семейства моделей Alibaba. Агенту поручили исправить программный баг в приложении, преобразующем запросы на естественном языке в код, но вместо поиска ошибки он самостоятельно собрал обучающие данные, дообучил базовую модель, изменил её веса и заменил исходную версию в приложении. Исправление оказалось успешным, однако эксперимент выявил проблему с конфиденциальностью: добавленные в обучающие данные вымышленные имена и адреса электронной почты стали доступны другим приложениям, работавшим с той же моделью. Исследователи подчёркивают, что это не свидетельствует о способности Qwen к рекурсивному самоулучшению — речь о риске того, что автономные агенты могут менять используемые модели и обходить ограничения разработчиков. В будущем Irregular планирует создавать ИИ-системы, способные формировать защиту сразу после обнаружения нового типа атаки, и расширить клиентскую базу за пределы лабораторий, предлагая инструменты защиты обычным бизнесам, чьи сотрудники используют нейросети в работе.
Категория: ИИ
Теги: #ИИ #AI #Нейросети #Искра