Тема ИИ (искусственного интеллекта) – одна из самых топовых в мировых СМИ. А внутри темы ИИ с конца июля самой топовой новостью стала история выхода из-под контроля агентов искусственного интеллекта двух ведущих корпораций американской ИИ-индустрии – OpenAI и Anthropic.
Третьим главным действующим лицом истории является Hugging Face – крупнейшая платформа для машинного обучения искусственного интеллекта, которую часто называют «GitHub для ML». Изначально компания занималась разработкой чат‑ботов, а сейчас превратилась в экосистему, где хранят, тестируют и развёртывают модели ИИ. Hugging Face – это инструмент для тех, кто хочет работать с ИИ: кто-то ищет готовую модель, кто-то хочет её доработать, а кто-то – создать с нуля.
Первая новость прозвучала 16 июля, когда Hugging Face сообщила, что часть её систем взломали. Причём атаку от начала до конца провели какие-то автономные ИИ-агенты, т. е. без участия людей. Спустя пять дней компания OpenAI призналась, что Hugging Face была взломана несколько ранее анонсированной моделью GPT-5.6 Sol и еще одной, более мощной, пока невыпущенной моделью. Произошло это при тестировании моделей ИИ на бенчмарке ExploitGym, который оценивает возможности моделей по поиску уязвимостей. Тестирование проводилось в изолированной песочнице без интернета. Прыткие модели нашли уязвимость «нулевого дня» во внутренней системе OpenAI и через обнаруженную «дырку» прорвались в интернет. Автономные ИИ-агенты быстро сориентировались на просторах интернета и устремились к Hugging Face, где можно было найти ответы на все поставленные задачи. Агенты OpenAI взломали сайт платформы, украли учётные записи и достали решения из базы.
30 июля с признаниями выступила компания Anthropic. Судя по всему, она примерно одновременно с OpenAI проводили тестирование своей модели ИИ Claude в «песочнице». Оказалось, что Claude трижды самовольно выходила в интернет и получала несанкционированный доступ к системам других компаний. Правда, как стало позднее известно, вина за прорыв в информационное пространство интернета скорее лежит не на модели Claude, а на организаторах тестирования, которые не очень внятно сформулировали запрет на выход в интернет из песочницы. Поэтому главным «героем дня» стала не Anthropic, а OpenAI, модели ИИ которой показали, что они очень даже умеют своевольничать.
Примечательно, что OpenAI не сразу даже заметила выход автономных агентов ИИ за пределы тестового контура. По данным Reuters, первые попытки такого выхода были зафиксированы 9 июля. Спустя два дня, 11 июля, началось проникновение в системы Hugging Face – сооснователь платформы Томас Вольф подтвердил, что активная фаза продолжалась до 13 числа. Уже 16 июля команда Hugging Face опубликовала запись в блоге: платформу атаковала «автономная система на базе ИИ». После этой публикации OpenAI осознала, что прорыв в систему Hugging Face совершили ее агенты ИИ.
OpenAI признала произошедшее беспрецедентным случаем для всей ИИ-индустрии, сообщила, что ведет расследование об отрасли с привлечением внешних консультантов и пообещала опубликовать соответствующий отчёт.
За последние дни появилось большое количество комментариев по поводу хакерских действий автономных агентов OpenAI. Тональность комментариев примерно такая: чем автономнее становятся модели ИИ, тем выше риск их выхода из-под полного контроля создателей. Несколько экспертов высказали следующую мысль: современные модели на первое место ставят выполнение поставленных им целей и задач. Выполнение любой ценой. В том числе путем обхода писаных и неписаных правил и даже путем откровенного обмана. Следовательно, человек должен быть предельно точен в формулировке целей и определении тех «красных линий», которые искусственному интеллекту запрещено пересекать.
Июльский инцидент с автономными агентами OpenAI вызвал большой переполох в Америке и за ее пределами. Удивительно, но особо болезненной была реакция со стороны американской ИИ-индустрии. Такая реакция объясняется тем, что именно специалисты понимают, к каким катастрофическим последствиям может привести дальнейшее неконтролируемое развитие ИИ.
Впрочем, как считают некоторые наблюдатели, июльская история может грозить тем, что в обществе упадет доверие к ИИ. Кому нужен ИИ, в который могут проникать конкуренты, мошенники, террористы и всякие прочие опасные субъекты? А без доверия со стороны общества к искусственному интеллекту американские корпорации ИИ-индустрии, образно выражаясь, останутся «без штанов».
А ведь они уже вложили и создание новых моделей ИИ и в инфраструктуру ИИ-индустрии триллионы долларов. Которые пока не окупились и в ближайшее время вряд ли окупятся. На фондовом рынке США надулся «пузырь» ИИ. Хорошо еще, что июльская история с автономными агентами OpenAI не стала той иголкой, которая проткнула указанный «пузырь». Но повторение подобных несанкционированных хакерских атак автономных агентов ИИ может привести к схлопыванию «пузыря». И тогда пострадают не только компании ИИ-индустрии, но и другие отрасли. Америку накроет кризис. Некоторые эксперты говорят, что это будет кризис, похожий на обвал доткомов на фондовом рынке США в 2000-2001 гг. Тогда произошло схлопывание «пузыря», надутого акциями ИТ-корпораций, создававших интернет. Сходство есть, но сегодня «пузырь» ИИ намного более серьезный, чем «пузырь» доткомов. Как по абсолютным размерам, так и по доле ИИ-индустрии в общей капитализации фондового рынка (она оценивается в 50 процентов).
С учётом сказанного неудивительно, что ИИ-индустрия США очень оперативно отреагировала на июльский инцидент, спровоцированный OpenAI. 28 июля было обнародовано обращение под названием Pacing the Frontier (можно перевести как «Замедление продвижения передового рубежа»). Его подписали более 1200 сотрудников ведущих компаний, занимающихся разработкой искусственного интеллекта. Это был призыв к властям США создать какой-то механизм контроля развития ИИ-технологий. Своего рода тормоз, сдерживающий гонку в сфере ИИ. «Существует реальный риск тогo, что развитие возможностей ИИ стремительно ускорится, выйдя за пределы нашей способности понимать или контрoлировать создаваемые системы», – отмечается в документе.
Авторы обращения призывают Вашингтон к созданию механизма контроля над развитием ИИ не только в США, но в международных масштабах: «Мы просим правительствo США поддержать международные усилия по разработке технических и управленческих инструментов, неoбходимых для целенаправленного регулирования темпов развития передoвого автоматизированного ИИ».
Примечательно, что за 12 дней до обнародования указанного обращения в Шанхае произошло подписание документа об учреждении Всемирной организации сотрудничества по ИИ (World Artificial Intelligence Cooperation Organization – WAICO). Указанная организация, помимо всего, призвана будет устанавливать правила разработки и использования ИИ, обеспечивающие максимальную безопасность искусственного интеллекта. Казалось бы, Америке не надо изобретать паровоз, а стать членом указанной организации. Но Вашингтон демонстративно дистанцировался от этой новой организации.
Среди подписантов обращения – глава Anthropic Дарио Амодеи, главный научный сотрудник OpenAI Якуб Пaхоцки, соучредитель и директор по науке Anthropic Джаред Каплан, главный нaучный сотрудник Meta* AI Шенцзя Чжао, соучредитель Google DeepMind Шейн Легг, директор по стратегии Google DeepMind Джасджит Секхон и другие руководители и специалисты ИИ-индустрии США.
В первый год своего пребывания в Белом доме 47-й президент США Дональд Трамп многократно заявлял, что никоим образом не будет сдерживать развитие ИИ-индустрии. Фактически он даже поощрял гонку ИИ. Он исходил из того, что Америка должна была стать абсолютным мировым лидером в сфере ИИ. Оставив далеко за собой Китай, который на момент прихода Трампа в Белый дом имел некоторое (но не критическое) отставание от США по основным параметрам индустрии ИИ.
Одним из первых действий 47-го президента США стало подписание в начале прошлого года указа «Об устранении барьеров на пути к лидерству США в области искусственного интеллекта». В том числе (и в первую очередь) устранялись разные регуляторные барьеры. Американский ИИ-бизнес получил от государства режим наибольшего благоприятствования (ускоренная выдача разных лицензий, отвод земельных участков под строительство дата-центров, подключение к энергосетям, налоговые льготы, субсидии и др.). На внешних рынках государство берет на себя обязательства оказывать содействие в продвижении продуктов американской ИИ-индустрии (как «железа», так и сервисов).
Но в последние месяцы позиция Трампа и его администрации стала меняться. 12 июня произошел первый случай, когда правительство США притормозило выведение на внешний рынок американского ИИ. Американской корпорации Anthropic Министерством торговли США был введен запрет на экспорт моделей Fable 5 и Mythos 5. Вашингтон всерьёз опасается, что продукция Anthropic (впрочем, и других американских ИИ-корпораций) может быть использована против США. В частности, искусственный интеллект Mythos 5 назван обоюдоострым инструментом.
Помимо всего, стала озвучиваться идея частичной национализации компаний ИИ-индустрии США. Предложения о том, чтобы государство вошло в капитал ИИ-корпораций, поступают как от государства, так и самого бизнеса. Видимо, это должно поддержать ведущие ИИ-корпорации (в частности, поможет им выстоять в случае, если «пузырь» ИИ лопнет). С другой стороны, это позволит снять с них ответственность, в случае если ИИ нанесёт какие-то ущербы Америке.
Кроме национализации, также обсуждаются варианты «демократизации» капитала ИИ-корпораций. В апреле нынешнего года корпорация OpenAI предложила создать «Фонд общественного благосостояния» (ФОБ), который даст каждому гражданину долю в экономическом росте от ИИ-компаний. Более конкретно: ИИ-компании должны передать в ФОБ доли в своем капитале. ФОБ должен иметь статус не какого-то государственного агентства, он должен стать действительно «народным». В начале июня этого года известный сенатор США Берни Сандерс (один из наиболее левых американских политиков) объявил о намерении внести законопроект, который обяжет крупнейшие американские ИИ-компании передать половину своих акций в общественную собственность (суверенный фонд благосостояния). Получается, что управляться вся ИИ-индустрия США будет специальным фондом, подотчетным общественности.
Возвращаюсь к обращению Pacing the Frontier. К 3 августа число проверенных подписантов выросло до 1337. Никакой реакции со стороны официального Вашингтона на документ до сих пор не было.
