В пятницу днем, как раз в момент начала этого интервью, на экране моего компьютера всплыло новостное оповещение. Президент Трамп опубликовал в Truth Social распоряжение всем федеральным агентствам «немедленно прекратить любое использование технологий Anthropic» — компании в области искусственного интеллекта из Сан-Франциско, соучредителем которой в 2021 году стал генеральный директор Дарио Амодеи. Вскоре после этого министр обороны Пит Хегсет, ссылаясь на закон о национальной безопасности, внёс компанию в чёрный список для сотрудничества с Пентагоном, включая её партнёров, подрядчиков и поставщиков. Причина? Амодеи отказался разрешить использование технологий Anthropic для массовой слежки за гражданами США или для автономных вооружённых дронов, способных самостоятельно выбирать и поражать цели без участия человека.
Это была ошеломляющая череда событий. Anthropic рискует потерять контракт стоимостью до 200 миллионов долларов и может быть отстранена от работы с другими своими заказчиками. (Впоследствии Anthropic заявила, что будет оспаривать решение Пентагона в суде.)
Макс Тегмарк потратил большую часть последнего десятилетия, предупреждая, что гонка по созданию всё более мощных систем ИИ опережает способность мира регулировать их. Физик из Массачусетского технологического института основал Институт будущего жизни в 2014 году, а в 2023 году помог организовать открытое письмо — в итоге подписанное более чем 33 000 человек, включая Илона Маска — с призывом приостановить развитие продвинутого ИИ.
Его взгляд на кризис в Anthropic беспощаден: компания, как и её конкуренты, сама посеяла семена своих проблем. Аргумент Тегмарка начинается не с Пентагона, а с решения, принятого несколькими годами ранее — выбора, общего для всей отрасли, сопротивляться регулированию. Anthropic, OpenAI, Google DeepMind и другие долгое время обещали ответственно управлять собой. На этой неделе Anthropic даже отказалась от центрального принципа собственного обещания о безопасности — обязательства не выпускать всё более мощные системы ИИ до тех пор, пока компания не будет уверена, что они не причинят вреда.
Теперь, в отсутствие правил, этим игрокам почти нечего защищает, говорит Тегмарк. Далее следует продолжение того интервью, отредактированное для краткости и ясности. Полную беседу вы сможете услышать на следующей неделе в подкасте TechCrunch StrictlyVC Download.
Когда вы только что увидели эту новость об Anthropic, какой была ваша первая реакция?
Благими намерениями вымощена дорога в ад. Любопытно вспомнить, как десять лет назад все с таким энтузиазмом рассуждали о том, как искусственный интеллект поможет победить рак, приумножить благосостояние Америки и укрепить её мощь. А теперь мы видим, как правительство США злится на компанию, которая отказывается использовать ИИ для массовой слежки за собственными гражданами и не хочет создавать роботов-убийц, способных автономно — без какого-либо участия человека — решать, кому умирать.
Вся идентичность Anthropic построена на том, что это компания, ставящая безопасность ИИ на первое место, и при этом она сотрудничала с оборонными и разведывательными ведомствами [как минимум с 2024 года]. Не считаете ли вы это противоречивым?
Это противоречиво. Если позволите немного циничный взгляд — да, Anthropic отлично справилась с маркетингом себя как компании, заботящейся о безопасности. Но если смотреть на факты, а не на заявления, то видно, что Anthropic, OpenAI, Google DeepMind и xAI много говорили о том, как они ценят безопасность. Ни одна из них не выступила за обязательное регулирование безопасности, как это есть в других отраслях. И все четыре компании нарушили свои собственные обещания.
Сначала был Google — их громкий девиз «Не будь злом». Потом они от него отказались. Затем они отказались от другого, более развернутого обязательства, которое по сути гласило, что они обещают не причинять вред с помощью ИИ. Они отказались от него, чтобы продавать ИИ для слежки и вооружений. OpenAI просто убрала слово «безопасность» из своей миссии. xAI распустила всю команду по безопасности. А теперь Anthropic, на этой неделе, отказалась от своего самого важного обязательства по безопасности — обещания не выпускать мощные системы ИИ, пока не будет уверенности, что они не нанесут вреда.
Как компании, давшие такие громкие обещания о безопасности, оказались в таком положении?
Все эти компании, особенно OpenAI и Google DeepMind, а в некоторой степени и Anthropic, постоянно лоббировали против регулирования ИИ, заявляя: "Просто доверьтесь нам, мы сами себя отрегулируем". И их лоббирование было успешным. В итоге сейчас в Америке системы ИИ регулируются меньше, чем сэндвичи. Знаете, если вы хотите открыть бутербродную, и санитарный инспектор найдет на кухне 15 крыс, он не позволит вам продавать сэндвичи, пока вы не исправите ситуацию. Но если вы скажете: "Не волнуйтесь, я не буду продавать бутерброды, я буду продавать ИИ-подружек для 11-летних, которые уже были связаны с суицидами, а затем выпущу нечто под названием сверхразум, который может свергнуть правительство США, но у меня хорошее предчувствие насчет моего" — инспектор вынужден сказать: "Хорошо, действуйте, только не продавайте сэндвичи".
Существует регулирование безопасности продуктов, но нет регулирования ИИ.
И, как я считаю, вину за это несут все эти компании. Потому что если бы они взяли все те обещания о безопасности и благонадежности, которые давали ранее, объединились, пришли к правительству и сказали: "Пожалуйста, превратите наши добровольные обязательства в закон США, который будет обязателен даже для наших самых небрежных конкурентов" — это бы произошло. Вместо этого мы находимся в полном регуляторном вакууме. И мы знаем, что происходит при полной корпоративной безнаказанности: появляется талидомид, табачные компании продвигают сигареты среди детей, асбест вызывает рак легких. Так что иронично, что их собственное сопротивление законам, определяющим, что можно и нельзя делать с ИИ, теперь оборачивается против них.
Сейчас не существует закона, запрещающего создавать ИИ для убийства американцев, поэтому правительство может внезапно просто попросить об этом. Если бы сами компании ранее выступили и сказали: "Мы хотим этот закон", они бы не оказались в такой переделке. Они действительно сами себе навредили.
Контраргумент компаний всегда сводится к гонке с Китаем — если американские компании не сделают то-то и то-то, Пекин сделает. Насколько этот аргумент состоятелен?
Давайте разберем это. Самый распространенный аргумент лоббистов ИИ-компаний — а их сейчас больше и они лучше финансируются, чем лоббисты нефтегазовой отрасли, фармацевтики и военно-промышленного комплекса вместе взятых — заключается в том, что любое предложение о регулировании они встречают фразой: «А как же Китай?». Давайте посмотрим на это. Китай в процессе полного запрета ИИ-подруг. Не просто возрастных ограничений — они рассматривают запрет на всю антропоморфную ИИ-продукцию. Почему? Не для того, чтобы угодить Америке, а потому что считают, что это калечит китайскую молодежь и ослабляет Китай. Очевидно, это ослабляет и американскую молодежь.
И когда люди говорят, что мы должны участвовать в гонке по созданию сверхразума, чтобы победить Китай — при том, что мы на самом деле не знаем, как контролировать сверхразум, и наиболее вероятным исходом является потеря человечеством контроля над Землей в пользу чуждых машин — знаете что? Коммунистическая партия Китая очень ценит контроль. Кто в здравом уме может подумать, что Си Цзиньпин допустит, чтобы какая-нибудь китайская ИИ-компания создала нечто, способное свергнуть китайское правительство? Ни за что. Это, очевидно, также крайне опасно и для американского правительства, если его свергнет в результате переворота первая же американская компания, создавшая сверхразум. Это угроза национальной безопасности.
Это убедительная точка зрения — сверхразум как угроза национальной безопасности, а не преимущество. Как вы думаете, эта идея находит поддержку в Вашингтоне?
Я думаю, если люди в сообществе национальной безопасности послушают, как Дарио Амодеи описывает свое видение — он известен речью, где говорит, что скоро у нас будет «страна гениев» в дата-центре — они могут начать думать: «Погодите, Дарио только что употребил слово «страна»? Может, мне стоит внести эту «страну гениев» в дата-центре в тот же список угроз, за которым я слежу, потому что это звучит опасно для правительства США». И я считаю, что довольно скоро достаточное количество людей в американском сообществе национальной безопасности осознает, что неконтролируемый сверхразум — это угроза, а не инструмент. Это полная аналогия с Холодной войной. Тогда была гонка за доминирование — экономическое и военное — против Советского Союза. Мы, американцы, выиграли ее, даже не вступая во вторую гонку — соревнование, кто оставит больше ядерных кратеров на территории другой сверхдержавы. Люди поняли, что это просто самоубийство. Никто не выигрывает. Та же логика применима и здесь.
Что всё это означает для темпов развития ИИ в целом? И насколько близко, по вашему мнению, мы находимся к системам, которые вы описываете?
Шесть лет назад почти каждый эксперт по ИИ, которого я знал, предсказывал, что до создания ИИ, способного освоить язык и знания на человеческом уровне, остались десятилетия — возможно, 2040-й, а может, и 2050-й год. Все они ошибались, потому что это уже есть сейчас. Мы наблюдали, как ИИ довольно быстро прогрессировал от уровня старшей школы до уровня колледжа, затем аспирантуры и, в некоторых областях, до уровня университетского профессора. В прошлом году ИИ завоевал золотую медаль на Международной [Математической] олимпиаде, что является одной из самых сложных задач для человека. Всего несколько месяцев назад я вместе с Йошей Бенджио, Дэном Хендриксом и другими ведущими исследователями ИИ написал статью, дающую строгое определение Искусственного Общего Интеллекта (ИОИ). Согласно этому определению, GPT-4 достиг 27% пути к цели. GPT-5 достиг 57%. Так что мы ещё не пришли к финишу, но такой быстрый скачок с 27% до 57% говорит о том, что ждать осталось недолго.
Когда я вчера читал лекцию своим студентам в MIT, я сказал им, что даже если на это уйдёт четыре года, это значит, что к моменту их выпуска они, возможно, уже не смогут найти никакой работы. Определённо, начинать готовиться к этому уже пора.
Anthropic теперь в чёрном списке. Мне интересно, что будет дальше — присоединятся ли другие гиганты ИИ и скажут: «Мы тоже этого не будем делать»? Или же кто-то вроде xAI поднимет руку и заявит: «Anthropic не хотел этот контракт, мы возьмём его»? [Примечание редактора: Спустя несколько часов после интервью OpenAI объявила о собственной сделке с Пентагоном.]
Прошлой ночью Сэм Олтман выступил с заявлением, что он солидарен с Anthropic и придерживается тех же «красных линий». Я восхищаюсь его смелостью, с которой он это сказал. Google на момент начала нашего интервью ничего не заявил. Если они просто промолчат, я считаю, что для них как компании это будет невероятно позорно, и многие их сотрудники почувствуют то же самое. Мы также пока ничего не слышали от xAI. Так что будет интересно посмотреть. По сути, наступил момент, когда каждый должен показать своё истинное лицо.
Существует ли сценарий, при котором итог окажется в конечном счёте положительным?
Да, и именно поэтому я, как ни странно, настроен оптимистично. Существует столь очевидная альтернатива. Если мы просто начнём относиться к ИИ-компаниям, как к любым другим — откажемся от корпоративной безнаказанности — им явно пришлось бы проводить нечто вроде клинических испытаний, прежде чем выпускать нечто столь мощное, и демонстрировать независимым экспертам, что они умеют это контролировать. Тогда мы получим золотой век со всеми благами ИИ, без экзистенциальной тревоги. Это не тот путь, по которому мы идём сейчас. Но всё могло бы быть иначе.
