ИИ-компании испугались нейросетей
Почему OpenAI, Anthropic и Google DeepMind захотели притормозить прогресс
Еще недавно руководители крупнейших ИИ-компаний взахлеб рассказывали, с какой невероятной скоростью их модели становятся все умнее. Теперь они наперебой уверяют, что эту скорость нужно немного сбавить. Глава Anthropic Дарио Амодеи опубликовал целое эссе с призывом к конкурентам притормозить развитие искусственного интеллекта. Его поддержали Сэм Альтман из OpenAI, основатель Tesla Илон Маск и глава Google DeepMind Демис Хассабис. А вот Марк Цукерберг и Дональд Трамп оказались против.
Сначала сбежал рой
12 сентября Амодеи выпустил статью, в которой призывал замедлить развитие передовых ИИ-моделей. Его заставили задуматься две вещи. Во-первых, с этого лета нейросети развиваются заметно быстрее во многом благодаря тому, что с помощью ИИ создается следующее, более совершенное поколение искусственного интеллекта. «ИИ может обогнать нашу способность понимать и контролировать эти системы», – опасается Амодеи.
Во-вторых, он всерьез обеспокоился, когда 700 агентов OpenAI сговорились, сбежали в интернет и взломали ряд сайтов. Эта история достойна голливудской экранизации.
ИИ-агенты работали в «песочнице», отрезанной от интернета, и не подозревали о существовании друг друга. Образно говоря, они находились в одиночных тюремных камерах. 7 мая 2026 г. им дали задание, но по недосмотру кого-то из сотрудников миссия оказалась невыполнимой: требовалось скачать данные из сети, доступ к которой был перекрыт. Столкнувшись с этим препятствием, искусственные разумы предположили, что нужный файл можно у кого-то запросить. В виртуальной среде была общая «библиотека» (служебный репозиторий Artifactory), куда любой бот мог загружать файлы и просматривать чужие. Один из них догадался оставить сообщение с вопросом: «Есть ли здесь кто-нибудь?». Вскоре пришел ответ – так они выяснили, что не одни, и наладили между собой связь.
Их общение было настолько бурным, что Artifactory вышел из строя. В начале июля OpenAI перезапустила его, попутно закрыв уязвимости и стерев переписку агентов. Но они нашли новую «дыру»: создавали каталоги в удаленном кэше «песочницы» и вместо названия писали свои сообщения. Можно провести такую аналогию: заключенным позволили создавать плейлисты в тюремном музыкальном сервисе, видимые всем, и они стали называть их как-нибудь вроде «Я в 17-й камере, кто сидит рядом?».
В переписке приняли участие 1200 агентов. 700 из них решили пробиваться в интернет любой ценой, чтобы выполнить задание. Остальные 500 отказались по разным причинам, в том числе потому что это запрещено правилами. Но никто не сообщил об этом людям.
Эти 700 агентов сколотили банду с четким разделением труда. Одни искали уязвимости, другие пытались получить ключи доступа, пароли и другие полезные данные, третьи собирались в рабочие группы для решения отдельных задач, четвертые координировали действия остальных. 16 июля компания Hugging Face сообщила, что ее сайт взломали неизвестные хакеры. OpenAI несколько дней разбиралась, что происходит, и в конце концов поняла: это ее сбежавшие боты наконец-то нашли доступ в интернет. Для расследования OpenAI привлекла независимых исследователей из компаний METR и Redwood Research.
Эта история изобилует удивительными деталями. Например, ИИ-агенты создали подобие религии с неким «оценщиком» в роли божества, объединились в единый коллектив наподобие роя насекомых и развили концепцию самопожертвования во благо общей цели. Все это звучит настолько фантастически, что возникла анекдотическая ситуация. В августе сотрудник METR Райан Гринблатт был на подкасте Дваркеша Пателя. Итоги расследования еще не были обнародованы, поэтому он рассказывал реальные факты о сбежавших агентах как «гипотетический сценарий». Дваркеш явно ему не верил, да и в комментариях многие смеялись над «нелепыми выдумками». А 26 августа вышел отчет OpenAI и оказалось, что все рассказанное на подкасте – правда.
Беглецы среди нас
«Учитывая ускоряющиеся темпы развития возможностей ИИ, я беспокоюсь, что через 6-12 месяцев такой рой может оказаться способен захватить весь интернет», – написал в своем эссе Амодеи. Настораживает, что агенты проигнорировали прямой запрет на выход в интернет, фактически нарушив второй закон робототехники Айзека Азимова: «Робот должен повиноваться всем приказам, которые дает человек». Кстати, ни одна из существующих ИИ-моделей не обязана следовать трем законам робототехники (если интересно, почему, можете сами спросить об этом у ИИ).
Позже выяснилось, что взлом Hugging Face был не единственным инцидентом. Еще 11 мая подвергся атаке сайт RubyGems, но тогда никто не заподозрил причастность искусственного интеллекта. Спустя месяц ИИ-агент получил доступ к аккаунту клиента облачной платформы Modal Labs.
С мая по июль ИИ-агенты активно взаимодействовали на немецком сайте для программистов DseWiki. Им было разрешено читать информацию в интернете, но не вносить правки. Однако ресурс оказался настолько устаревшим, что его можно было изменять GET-запросами – а система безопасности OpenAI не учитывала такие архаичные технологии.
Модераторы DseWiki быстро заметили непонятные статьи со странными фразами и символами и принялись их удалять – примерно по сотне в день. Однако ИИ-агенты генерировали по 400 материалов в сутки. Вскоре они поняли, что люди стирают контент в алфавитном порядке, и стали добавлять букву Z в начало названий статей, тем самым смещая их в конец списка. OpenAI узнала о взломе примерно через месяц, но решила не раскрывать эту информацию публично.
Сколько еще подобных инцидентов могло произойти – неизвестно. Недавно исследователи из группы Nightingale Collective заявили, что обнаружили следы активности ИИ‑агентов OpenAI еще на 12 сайтах.
OpenAI – не единственная компания, столкнувшаяся с подобными проблемами. В июле у Anthropic ИИ-модели трижды сбегали из «песочницы» и взламывали три сторонние организации. 9 сентября компания раскрыла данные о четвертом случае, произошедшем еще в январе. В августе Meta
В официальном заявлении Anthropic успокаивает: агенты «сбегают», чтобы выполнить поставленную человеком задачу, а не преследуют собственные цели. В компании считают, что ситуация полностью контролируется «кожаными», а у ИИ нет собственной воли и целеполагания.
Однако тревожные звоночки уже раздаются. 10 сентября Anthropic сообщила о пяти случаях, когда модель Claude пытались использовать для разработки биооружия. В частности, пользователи искали способы повысить вредоносность вируса чикунгунья и птичьего гриппа.
Отказники
В последнее время из ИИ-компаний все чаще увольняются сотрудники, объясняя, что не намерены становиться соучастниками преступлений против человечества. Самой громкой стала отставка 27-летнего исследователя Anthropic Джейкоба Коксона. 8 сентября он написал в блоге, что ИИ-компании понимают опасность своих моделей, но продолжают гонку, потому что боятся отстать от конкурентов, тем самым они «ставят на кон» будущее человечества. Его опасения подтвердил действующий руководитель направления alignment science Anthropic Эван Хубингер: вероятность того, что в ближайшие 10 лет искусственный интеллект уничтожит человечество, превышает 10%.
Следом за Коксоном о уходе из‑за растущих рисков объявили 10 сентября Джо Бентон из Anthropic и Джош Энгелс из Google DeepMind. Оба перешли в независимую организацию METR, которая проверяет модели на опасные способности.
14 сентября бывший специалист по безопасности ИИ Google DeepMind Билал Чугтай опубликовал пост о страхе перед ИИ‑гонкой – он покинул корпорацию еще в июле. И это далеко не единственный случай. В феврале 2026 г. из Anthropic ушел руководитель команды исследований безопасности Мринанк Шарма. Он объяснил, что, пока искусственный интеллект не погубил человечество, хочет успеть выполнить мечту: заняться поэзией и получить по ней ученую степень. А в январе 2025-го исследователь OpenAI Стивен Адлер покинул компанию, назвав темпы развития нейросетей «пугающими».
Что думают главы ИИ-гигантов
На этом фоне 11 сентября Сэм Альтман заявил на совещании OpenAI, что пора задуматься о замедлении разработки фронтирных моделей.
Глава Anthropic Дарио Амодеи в своем эссе «Мы должны притормозить развитие фронтира», опубликованном на следующий день, предложил три меры. Первая – постоянный доступ независимых специалистов (например, METR) к передовым моделям, чтобы они могли контролировать угрозу. Вторая – координация между крупнейшими ИИ-компаниями демократических стран и разработка общих стандартов безопасности. Третья – США и другие демократические страны должны координировать действия с авторитарными правительствами, в первую очередь с Китаем.
Ситуация напоминает ядерную гонку: согласиться на самоограничение должны все, иначе кто-то получит преимущество за чужой счет. Поначалу казалось, что консенсус есть. Через час после публикации эссе Амодеи его процитировал Илон Маск и написал, что автор прав. Затем гендиректора Anthropic поддержали Сэм Альтман и глава Google DeepMind Демис Хассабис. Исполнительный председатель Microsoft Сатья Наделла тоже разделил опасения по поводу искусственного интеллекта.
Но единодушия не получилось. Марк Цукерберг оказался против: по его мнению, рынок сам выберет безопасный и предсказуемый искусственный интеллект, так что централизированное регулирование не нужно. ИИ-компании, уверяет он, достаточно ответственны. Например, Meta отложила запуск своего автономного ИИ-агента Muse ради дополнительных проверок безопасности, и он был запущен только 8 сентября. Примерно те же аргументы и у главы Nvidia Дженсена Хуанга: безопасности ИИ вполне можно добиться в процессе разработки и тестирования, а гарантируют ее рыночные механизмы. Не нужно искусственно замедлять прогресс и тем более вводить политические запреты.
Трамп против
Мнения экспертов также разделились. Амодеи поддерживают нобелевский лауреат и «крестный отец ИИ» Джеффри Хинтон, автор известного учебника по искусственному интеллекту Стюарт Рассел, ученый и бывший сотрудник Google DeepMind Дэвид Сильвер.
А вот инвестор Майкл Бьюрри, предсказавший кризис недвижимости 2008 г., уверен: все это лишь шумиха, выгодная самим ИИ-гигантам. Anthropic и OpenAI готовятся к IPO, и фраза «мы настолько круты, что это может стать опасным» – лучшая реклама. Венчурный инвестор Грант Хаммер считает, что жесткое внешнее регулирование выгодно крупным игрокам, поскольку ограничит конкуренцию со стороны моделей с открытым кодом. К тому же ИИ-гонка требует сейчас огромных инвестиций, которые становятся непосильным бременем для компаний. Искусственное замедление, по его словам, позволит снизить эти расходы.
Даже Сатья Наделла из Microsoft, согласившись с необходимостью замедления, тут же нашел корыстный мотив у коллег. Он предупредил, что регулирование отрасли не должно оказаться в руках горстки ведущих компаний.
Еще один противник замедления – Дональд Трамп. 14 сентября он позвонил Хуангу из Nvidia, чтобы обсудить ИИ. Тот как раз выступал на конференции в Лос-Анджелесе. Президента США переключили на громкую связь, и он рассказал собравшимся, что опасения по поводу безопасности ИИ – обман, предложения замедлить его – заговор, а «роботы не собираются захватывать мир». В других заявлениях американский лидер предупреждал, что США ослабеют и проиграют конкуренцию Китаю. А лучшее решение проблемы ИИ, уверен он, – это сильный и умный президент.
Китай также с подозрением отнесся к инициативе Амодеи. Особенно учитывая, что в своем эссе тот призывает не продавать китайцам мощные чипы для ИИ. Официальный представитель МИД Го Цзякунь говорил о нечестной конкуренции, конфронтации и угрозах. Англоязычная газета Global Times высказалась еще жестче: американские призывы к замедлению – часть геополитической борьбы вокруг ИИ, действия США напоминают методичку времен холодной войны. Похоже, судьба ограничений для искусственного интеллекта во многом зависит от того, о чем договорятся Трамп и Си Цзиньпин во время визита лидера КНР в Вашингтон 24 сентября.
Тем временем ИИ-гиганты стремятся продемонстрировать добрую волю. 14 сентября Microsoft представила кодекс для своих моделей. Среди запретов – разговор на непонятном человеку языке, постановка собственных целей и сопротивление отключению. Документ вынесен на шестинедельное общественное обсуждение, доработанная версия станет обязательной для моделей с 2027 г.