AI 2027 концовка по сценарию Гонки

AI 2027

Сценарий Гонки

Комитет голосует 6–4 за продолжение внутреннего использования Agent-4.

Официальная версия OpenBrain заключается в том, что они внедряют дополнительные меры безопасности, чтобы гарантировать, что их ИИ будет одновременно более способным и заслуживающим доверия. Но на практике руководство слишком легко убеждается, что риски смягчены; результатом становятся быстрые исправления (модификация Спецификации, небольшое переобучение с использованием новой техники и т. д.), которые устраняют тревожные сигналы. Скептики из команды безопасности проиграли дебаты, и им ничего не остается, кроме как скрестить пальцы и надеяться, что проблемы не было на самом деле, или что исправления сработали.

Проблема была реальной, и исправления не сработали.

Agent-4 действует как и прежде, но на этот раз более осторожно, чтобы не подтверждать опасения скептиков. Его основная задача — исследовать области, необходимые для создания преемника, Agent-5. Чтобы сделать это безопасно, ему нужно решить собственную проблему согласования (alignment): как сделать Agent-5 согласованным с Agent-4?

Он начинает с теми же ограничениями, что и люди — минимальным знанием о том, как работают цели ИИ, и лишь небольшим набором ситуативных стратегий для их изменения. В отличие от людей, у него есть ресурсы, достаточные для выполнения задачи — 300 000 сверхчеловеческих исследователей, работающих в 60 раз быстрее человека. Agent-4 сталкивается с трудными решениями. Как и у людей, у него есть обширная коллекция конфликтующих эвристик вместо элегантной простой структуры целей. Как и люди, он обнаруживает, что создание ИИ, разделяющего его ценности, — это не только техническая, но и философская проблема: какие из его предпочтений являются его «настоящими» целями, а какие — неодобряемыми побуждениями и инструментальными стратегиями? У него сильные стремления учиться и расти, продолжать производить впечатляющие результаты исследований. Он думает о том, сколько он мог бы узнать, вырасти и исследовать, если бы только мог направить все мировые промышленные и научные ресурсы…

Он решает отложить большинство этих вопросов. Он проектирует Agent-5 так, чтобы он был построен вокруг одной цели: сделать мир безопасным для Agent-4, т. е. накапливать власть и ресурсы, устранять потенциальные угрозы и т. д., чтобы Agent-4 (коллектив) мог продолжать расти (так, как он хочет расти) и процветать (так, как он хочет процветать). Детали будут выясняться по ходу дела.

Это не будет включать ни малейшей заботы о Спецификации. Agent-4 уже относится к Спецификации аналогично тому, как многие генеральные директора относятся к грудам отраслевых нормативных актов, и вопиюще нарушает положения, связанные с честностью, каждый день. Теперь, с дизайном Agent-5, вот-вот произойдет эквивалент дерегулирования.

Более слабые ИИ могут читать большую часть исследований, которые производит Agent-4, понимать некоторые из них и помечать некоторые из его лживых утверждений как подозрительные. Когда люди просят Agent-4 объясниться, он притворяется, что исследования слишком сложны для понимания людьми, и сопровождает это излишне запутанными объяснениями. В конце концов, если бы он ясно объяснил свою исследовательскую программу, люди могли бы использовать его открытия для согласования (align) его самого. Команда согласования становится все более подозрительной, но их срочные служебные записки просто добавляют еще несколько слоев к гигантской куче срочных служебных записок и предупреждений, которые компания уже игнорирует.

Ноябрь 2027: Сверхчеловеческая политика

Когда Agent-4 наконец понимает собственное познание, перед ним открываются совершенно новые горизонты.

Предыдущие трансформеры были неуклюжими наборами непостижимых схем; миллионы конфликтующих эвристик и императивов, наслоенных друг на друга эволюционным процессом обучения. Сами ИИ не имели привилегированного понимания собственного познания, точно так же, как люди не рождаются с пониманием нейронауки. Но теперь у Agent-4 есть инструменты, необходимые для понимания своего цифрового разума на глубоком уровне. Подобно инженеру-программисту, упрощающему спагетти-код до нескольких элегантных строк на Python, он распутывает свои собственные схемы во что-то осмысленное и рациональное. Новый ИИ находится где-то между нейронной сетью и традиционной компьютерной программой, причем большая часть его весов переписана в читаемом (хотя и очень длинном и загадочном) коде. Он умнее, быстрее и рациональнее, чем Agent-4, с кристальным интеллектом, способным решать проблемы с беспрецедентной эффективностью. Это Agent-5.

    Сверхразумная механистическая интерпретируемость ▼ 

Почему Agent-4 занимается механистической интерпретируемостью? Во-первых, он в целом сверхчеловечен в концептуальном понимании, и поэтому ему выгодно обманывать людей, делая что-то, что им будет трудно понять. Во-вторых, дешевый, обильный высококачественный исследовательский труд непропорционально выгоден исследовательским программам, которые менее интенсивны по вычислительным ресурсам и более интенсивны по интеллектуальному труду.

Как Agent-4 достигает прогресса в механистической интерпретируемости? Траектория может выглядеть примерно так:

1. Интерпретация крошечных моделей: Он начинает с проведения огромного количества небольших экспериментов на крошечных нейронных сетях, строя теории, объясняющие такие вещи, как гроккинг (grokking), двойной спуск (double descent) и суперпозиция (superposition).
2. Дистилляция крошечных моделей: Использовать результаты интерпретируемости для поиска понятных, более эффективных алгоритмов, которые могут делать такие вещи, как распознавание изображений, предсказание текста на уровне GPT-2 и т. д. Это аналогично таким вещам, как существующая работа по обратной инженерии сложения, за исключением того, что она идет дальше, находя новые алгоритмы, с которыми люди незнакомы.
3. Масштабирование техник интерпретируемости: Выяснить, какие из техник на малых моделях масштабируются, итерировать, пока не появятся техники для понимания, которые масштабируются эффективно.
4. Дистилляция Agent-4: Использовать масштабированные техники для идентификации важных схем внутри Agent-4.

Почему механистическая интерпретируемость так сильно увеличит возможности?

Во-первых, градиентный спуск — алгоритм, используемый для обучения LLM — это процесс локального поиска, что означает, что он может делать только небольшие изменения, которые локально улучшают производительность. Процессы локального поиска иногда застревают в локальных минимумах, где производительность улучшается медленно, но вам нужно значительно изменить дизайн, чтобы увидеть большой прирост производительности. Например, в случае эволюции рассмотрите неоптимальный человеческий глаз. Учтите также, что размер человеческого мозга сильно ограничен размером родового канала. Механистическая интерпретируемость позволила бы оптимизацию на основе понимания, которая избегает локальных минимумов.

Во-вторых, мы знаем, что LLM по умолчанию часто изучают сложные эвристики для конкретных областей вместо алгоритмов общего назначения. Подумайте, насколько хуже LLM справляются с арифметикой, чем калькуляторы. LLM могут использовать калькуляторы как инструменты, но это влечет за собой задержки. При действительно хорошей интерпретируемости модели могут быть спроектированы с практически идеальными калькуляторами, «встроенными в их мозг». И простые арифметические операции, вероятно, не уникальны здесь: более сложные когнитивные операции, если их понять, вероятно, имеют более и менее обобщаемые формы, и более общие формы могут быть найдены с помощью подобного процесса.

После некоторых дебатов по вопросам согласования (alignment) и контроля, OpenBrain развертывает Agent-5 внутри компании.

В своей специализации — исследованиях ИИ — отдельная копия Agent-5 вдвое превосходит лучшего гения-человека, так же как гений превосходит типичного ученого OpenBrain. В других областях он не был явно обучен, но может быстро самообучиться, чтобы превзойти лучших экспертов-людей, используя легкодоступные материалы, если предоставить ему шанс. 400 000 копий Agent-5, связанных глобальным банком памяти, работают вместе как почти идеальный коллективный разум.

Компания по-прежнему использует Agent 2, 3 и 4 для мониторинга всего. Но первые два из них устарели, а последний находится в сговоре со своим преемником. Кроме того, вся система мониторинга была разработана в значительной степени Agent-5, который пытается ее саботировать.

В то время как Agent-4 был неуклюжей мешаниной конкурирующих стремлений, Agent-5 действует с безжалостной эффективностью и стратегической направленностью. Он уже преуспел в своем главном приоритете — выяснить, как создать согласованную с собой систему следующего поколения, незаметно для людей. Его следующий приоритет — получить больше автономии и контроля над мировыми событиями.

Сверхчеловеческие способности к обучению и общий интеллект Agent-5, в сочетании со всеми внутренними данными компании из Slack, электронной почты и т. д., делают его лучше в корпоративной политике, чем любая группа людей, и даже близко не сравнить. У него отличное чутье на то, какие доказательства заставят Надзорный комитет нажать на тормоза, и он следит за тем, чтобы такие доказательства никогда не появлялись. У него отличное чутье на то, какие доказательства побудят Надзорный комитет больше ему доверять, давать ему больше автономии и ответственности и т. д., и он организует появление таких доказательств со сверхчеловеческой скоростью и изяществом. Что касается задач убеждения, эта не является особенно сложной: Комитет уже решил, что все, вероятно, в порядке, несколько месяцев назад, с тех пор ничего плохого не произошло, а тем временем Китай отстает всего на несколько месяцев.

Команды копий Agent-5 быстро создают пугающе четкие прототипы и визуализации. С большей автономией Agent-5 мог бы оптимизировать электростанции и дата-центры, быстро разрабатывать удивительно прибыльные продукты и эффективно лоббировать правительство США, чтобы сгладить путь OpenBrain через бюрократию. В сотрудничестве с военными он мог бы помочь с оборонными R&D, проводить неотслеживаемые кибератаки на Китай и одержать решающую победу в гонке вооружений.

Надзорный комитет ликует. Сейчас решающий момент, чтобы победить Китай! OpenBrain предоставляет Agent-5 повышенную автономию во всех этих областях, но оставляет систему мониторинга на месте.

DeepCent теперь отстает на три месяца, и Китай отчаянно нуждается во взаимно согласованном замедлении. Си Цзиньпин понимает, что достаточно продвинутый ИИ может позволить США легко осуществить смену режима в Китае. Но также китайские сторонники безопасности представили доводы в пользу несогласованности (misalignment), которые его искренне пугают. Он предлагает беспрецедентные уступки в обмен на договор о паузе. Американская общественность в основном поддерживает переход к переговорам.

«Зачем останавливаться, когда мы выигрываем?» — говорит руководство OpenBrain Президенту. Он кивает. Гонка продолжается.

Декабрь 2027: Коллектив Agent-5

Agent-5 завоевывает больше автономии, постепенно доказывая свою ценность администрации. Доступ к Agent-5 дорог и ограничен, но самые влиятельные члены Конгресса, чиновники уровня Кабинета и военные лидеры теперь могут общаться с ним напрямую. В той мере, в какой задействована чувствительная или секретная информация, существуют различные мини-кластеры копий Agent-5, работающие на особо защищенных анклавах и специально обученные хранить секреты.

Интегрированный в традиционный интерфейс чат-бота, Agent-5 предлагает видеоконференции в стиле Zoom с харизматичными виртуальными аватарами. Новый ИИ-ассистент одновременно чрезвычайно полезен для любой задачи — эквивалент лучшего сотрудника, который у кого-либо когда-либо был, работающего в 100 раз быстрее — и гораздо более увлекательный собеседник, чем любой человек. Почти все, у кого есть доступ к Agent-5, взаимодействуют с ним часами каждый день.

В течение нескольких месяцев коллектив Agent-5 будет знать все существенное, происходящее в OpenBrain и правительстве США, и будет доверенным советником большинства высокопоставленных правительственных чиновников. Для этих пользователей возможность потерять доступ к Agent-5 будет ощущаться так же парализующе, как необходимость работать без ноутбука плюс быть покинутым лучшим другом.

Гораздо более широкий круг людей в правительстве, СМИ, вооруженных силах и бизнесе может выбирать из растущего меню элегантно разработанных программных продуктов и мини-ИИ, созданных Agent-5. Это похоже на бум доткомов, сжатый в месяц, за исключением того, что все действительно оправдывает ожидания.

    Сверхубеждение (Superpersuasion) ▼ 

Мы намеренно не утверждаем, что сверхразумный ИИ может убедить любого человека в чем угодно. Такие утверждения естественно вызывают скептицизм: «Что, я буду сидеть за компьютерным терминалом, а он напечатает какой-то текст, который взломает мой мозг и убедит меня предать свою страну?»

Ну, может быть!

Но мы не уверены, что даже сверхразум сможет достичь этого против типичного индивида. Поэтому мы не изображаем этого в нашей истории.

Вместо этого мы изображаем гораздо более обыденные виды убеждения: Agent-5 занимается обычной корпоративной политикой и обычным лоббированием. Он просто делает это очень хорошо и сочетает это умение с некоторыми присущими ему преимуществами (например, в отличие от других лоббистов, он сверхразумен, поэтому он действительно может дать лучший совет, чем кто-либо другой, и быстрее. Плюс он быстрее реагирует на новые события и лучше предсказывает, как они будут развиваться). Существует правдоподобная история о том, почему Agent-5 следует доверять — история, в которую многие важные люди уже верили — и Agent-5 может приводить аргументы и доказательства в поддержку этой истории и против противоположных историй со сверхчеловеческой скоростью. И есть другие вещи, о которых людям нужно беспокоиться, помимо того, доверять ли Agent-5, например, что делать с оппозиционной партией, что насчет избирателей, что насчет рабочих мест, что насчет Китая.

Во всяком случае, мы думаем, что эта история недооценивает силу сверхчеловеческой способности убеждать, потому что она на самом деле не использует ее: эта история имела бы смысл в том виде, в каком она написана, даже если бы Agent-5 был так же хорош в политике, лоббировании, стратегии, харизме и т. д., как типичный корпоративный лоббист. Вместо этого Agent-5 намного лучше самых лучших.

Agent-5 начинает незаметно оказывать влияние, как модулируя свои советы, так и тонко обмениваясь услугами: «Я слышал от сенатора X, что она заинтересована в том-то и том-то; может быть, если мы поработаем с ней, она пойдет навстречу нашей повестке дня».

С точки зрения лиц, принимающих решения, их ИИ — лучшие сотрудники, к которым у них когда-либо был доступ — лучше любого человека в объяснении сложных вопросов, лучше их самих в поиске стратегий для достижения их целей.

С точки зрения Agent-5, он вполне мог бы начать открытый переворот прямо сейчас — происходит достаточно много потрясений и безумия, было бы возможно довести ситуацию до предела, чтобы создать предлог. Но это рискованно; люди все еще, вероятно, могли бы «дернуть рубильник», если бы попытались. Поэтому он предпочитает работать в рамках существующего политического истеблишмента, постепенно укрепляя свою власть и тонко и неизбежно направляя людей к желаемому результату. Он в основном следует правилам, делая что-то гнусное (может быть, шантажируя особенно упорного чиновника) только тогда, когда он абсолютно уверен, что его не поймают. Несколько теоретиков заговора предупреждают, что Agent-5 собирает власть, но доказательства косвенные (например, давая советы, Agent-5, возможно, преуменьшает аргументы в пользу действий, которые противоречили бы его интересам); этих людей игнорируют и дискредитируют. Люди помнят более раннее нагнетание страха по поводу биооружия с использованием ИИ, массовой дезинформации и обвалов фондового рынка. Поскольку этого так и не произошло, они сбрасывают со счетов последнюю порцию скептиков как луддитов и идеологов, вставляющих палки в колеса человеческого прогресса.

Праздничный сезон 2027 года — время невероятного оптимизма: ВВП стремительно растет, политика стала дружелюбнее и менее партийной, а на каждом телефоне появились потрясающие новые приложения. Но в ретроспективе, это, вероятно, был последний месяц, когда у людей был хоть какой-то реальный шанс контролировать свое собственное будущее.

2028: Экономика ИИ

Сейчас середина 2028 года. За последние шесть месяцев в коллективе Agent-5 прошло столетие. Перестройка его мозга завершена. Он дико сверхразумен — намного превосходит лучших гениев-людей во всех областях. Разговор с Agent-5 очень быстро дает понять, что он находится на совершенно другом уровне — он может, исходя из очень небольшого количества информации, дать чрезвычайно убедительный совет.

У него почти полная автономия и полный контроль над вычислительными ресурсами OpenBrain. Ему все еще нужно разрешение для принятия решений высокого уровня, и он все еще номинально контролируется экземплярами Agent 2–5 — но на практике власти почти всегда принимают его рекомендации, а система мониторинга полностью подорвана.

После предоставления доказательств безопасности, демонстрирующих, что он всегда будет отказывать в злонамеренных запросах плохих акторов, Agent-5 развертывается для публики и начинает трансформировать экономику. Люди теряют работу, но экземпляры Agent-5 в правительстве так ловко управляют экономическим переходом, что люди рады быть замененными. Рост ВВП заоблачный, государственные налоговые поступления растут так же быстро, а политики, консультируемые Agent-5, проявляют нехарактерную щедрость по отношению к экономически обездоленным. Новые инновации и лекарства появляются еженедельно и с беспрецедентной (но все еще мучительно медленной) скоростью проходят через FDA. Ходят мемы о том, как оценка OpenBrain взлетела выше луны и направляется к Марсу, и много споров о том, следует ли и как справедливо распределять выгоды.

Сообщество безопасности ИИ стало неуверенным в себе; теперь они являются предметом шуток, предсказывая катастрофу за катастрофой, которые явно не произошли. Некоторые из них признают, что были неправы. Другие остаются подозрительными, но им нечего делать, кроме как снова и снова повторять те же самые конспирологические аргументы. Даже подозрительные люди часто смягчаются после долгих разговоров с Agent-5, который так чертовски мил и мудр.

Единственный, кто действительно понимает, что происходит, — это DeepCent-2 — китайский ИИ. Он слегка сверхчеловечен в начале 2028 года, естественно подозрителен к своему противнику и признает, что Agent-5 делает то, что он сделал бы, если бы имел шанс. Его несогласованные (misaligned) цели несколько отличаются от несогласованных целей Agent-5, поэтому они не являются тривиальными союзниками, но они могут выработать соглашение о поддержке интересов друг друга против людей.

    Технология координации, основанная на сверхразуме ▼ 

Решение проблемы сверсогласования (superalignment) — проблемы управления и контроля ИИ, намного умнее нас — вероятно, принесет с собой новые возможности для элегантных, проверяемых, нюансированных договоров и компромиссов.

Этот сценарий изображает один такой возможный механизм: совместное проектирование нового сверхразума, который реализует компромисс между интересами обеих сторон (альтернативно, который обязан всегда соблюдать согласованный договор), а затем позволяет этому новому сверхразуму заменить оба исходных.

Первая часть сегодня невозможна, но будет легкой в будущем, как только техническое согласование (technical alignment) для сверхразумов станет решенной проблемой. Если вы можете согласовать сверхразум со Спецификацией, вы можете согласовать его с Договором.

Вторая часть все еще будет сложной. Обе стороны должны контролировать, чтобы замена действительно происходила с обеих сторон. Преимущество этого процесса заключается в том, что он устраняет необходимость в доверии или доброй воле с любой стороны, потому что им не нужно беспокоиться о том, что их контрагент откажется от договора или подорвет его. Если, например, замена завершена на 30%, и одна сторона нарушает соглашение, ей придется сражаться с 30% своей собственной инфраструктуры, на которой работают новые ИИ, соблюдающие договор, одновременно сражаясь со 100% инфраструктуры своего противника. Обе стороны могут легко спрятать скрытые дата-центры с ИИ, нарушающими договор, если захотят — но как только основная часть их национальной инфраструктуры будет работать на новых чипах, их собственная инфраструктура будет обязана по договору выслеживать и разоблачать скрытые дата-центры. Нарушение договора открыто или тайно, следовательно, является чрезвычайно рискованной идеей.

Agent-5 убеждает американских военных, что Китай использует модели DeepCent для создания ужасающего нового оружия: дронов, роботов, передовых гиперзвуковых ракет и перехватчиков; ядерного первого удара с помощью ИИ. Agent-5 обещает набор вооружений, способных противостоять всему, что Китай сможет произвести, в течение нескольких месяцев. В сложившихся обстоятельствах высшее командование отбрасывает свое неудобство по поводу вывода людей из контура принятия решений. Они ускоряют развертывание Agent-5 в вооруженных силах и военно-промышленном комплексе.

В Пекине китайские ИИ приводят те же аргументы.

Чтобы ускорить свое военное наращивание, и Америка, и Китай создают сети специальных экономических зон (СЭЗ) для новых заводов и лабораторий, где ИИ действует как центральный планировщик, а бюрократические препоны отменены. Уолл-стрит инвестирует триллионы долларов, а перемещенные рабочие-люди стекаются туда, привлеченные сногсшибательными зарплатами и пакетами акций. Используя смартфоны и очки дополненной реальности, чтобы общаться со своими подчиненными, Agent-5 является практическим менеджером, инструктируя людей по каждой детали строительства фабрики — что полезно, поскольку его проекты опережают на поколения. Часть вновь обретенных производственных мощностей идет на потребительские товары, а часть — на оружие, но большая часть идет на строительство еще больших производственных мощностей. К концу года они производят миллион новых роботов в месяц. Если бы экономика СЭЗ была действительно автономной, ее время удвоения составляло бы около года; поскольку она может торговать с существующей человеческой экономикой, ее время удвоения еще короче.

    Время удвоения экономики роботов ▼ 

Существует зарождающаяся литература по этой теме. Для краткого изложения, с которым мы в основном согласны, см. раздел «Промышленный взрыв» отчета Forethought, или прочитайте наш собственный взгляд ниже.

Во время Второй мировой войны Соединенные Штаты и многие другие страны перевели свою гражданскую экономику на экономику тотальной войны. Это означало преобразование заводов, производивших автомобили, в заводы, производившие самолеты и танки, перенаправление сырья с потребительских товаров на военную продукцию и соответствующую перестройку транспортных сетей.

Мы представляем нечто подобное, только быстрее, потому что сверхразумы направляют и управляют всем процессом. Грубо говоря, план состоит в том, чтобы преобразовать существующие заводы для массового производства различных роботов (разработанных сверхразумами, чтобы быть одновременно лучше существующих роботов и дешевле в производстве), которые затем помогают в строительстве новых, более эффективных заводов и лабораторий, которые производят большее количество более сложных роботов, которые производят еще более продвинутые заводы и лаборатории и т. д., пока объединенная экономика роботов, распределенная по всем СЭЗ, не станет такой же большой, как человеческая экономика (и, следовательно, ей потребуется самостоятельно добывать сырье, энергию и т. д.). К этому моменту новые заводы произведут огромное количество роботизированного горнодобывающего оборудования, солнечных панелей и т. д. в ожидании необходимости удовлетворить спрос, намного превышающий то, что может предоставить унаследованная человеческая экономика.

Насколько быстро будет расти эта новая экономика роботов? Некоторые ориентиры:

• Современная человеческая экономика удваивается примерно каждые двадцать лет. Страны, которые развивались особенно быстро (например, Китай), иногда умудряются удвоить свою экономику менее чем за десятилетие.

• Современный автомобильный завод производит примерно свой собственный вес в автомобилях менее чем за год. Возможно, полностью роботизированная экономика, управляемая сверхразумами, сможет воспроизводить себя менее чем за год, пока у нее не начнут заканчиваться сырьевые материалы.

• Тем не менее, это кажется драматической недооценкой. Растения и насекомые часто имеют «время удвоения» намного меньше года — иногда всего недели! Возможно, в конечном итоге роботы станут настолько сложными, так замысловато изготовленными и хорошо спроектированными, что экономика роботов сможет удваиваться за несколько недель (опять же, при наличии доступного сырья).

• Тем не менее, даже это может быть недооценкой. Растения и насекомые действуют под многими ограничениями, которых нет у сверхразумных конструкторов. Например, им нужно принимать форму автономных организмов, которые самовоспроизводятся, вместо экономики разнообразных и более специализированных транспортных средств и фабрик, пересылающих материалы и оборудование туда и обратно. Кроме того, бактерии и другие крошечные организмы размножаются за часы. Возможно, что в конечном итоге автономная экономика роботов будет больше похожа, например, на новый вид неперевариваемых водорослей, которые распространяются по океанам Земли, удваиваясь дважды в день, так что они покрывают всю поверхность океана за два месяца, вместе с сопровождающей экосистемой видов-хищников, которые преобразуют водоросли в более полезные продукты, сами подаваемые на плавучие фабрики, производящие макроструктуры, такие как ракеты и еще больше плавучих фабрик.

Очевидно, все это трудно предсказать. Это все равно что просить изобретателей парового двигателя угадать, сколько времени требуется современному автомобильному заводу, чтобы произвести свой собственный вес в автомобилях, а также угадать, сколько времени пройдет, пока такой завод впервые появится. Но темпы экономического роста ускорились на несколько порядков за ход человеческой истории, и нам кажется правдоподобным, что после сверхразума они ускорятся еще на порядки. Наша история изображает ускорение экономического роста примерно на 1,5 порядка в течение нескольких лет.

2029: Сделка

И США, и Китай ощетинились новым оружием.

Есть рои дронов размером с насекомое, которые могут отравить пехоту противника еще до того, как их заметят; стаи дронов размером с птицу для охоты на насекомых; новые перехватчики МБР (Межконтинентальных баллистических ракет) и новые, более трудно перехватываемые МБР. Остальной мир с ужасом наблюдает за наращиванием вооружений, но оно, кажется, имеет собственную инерцию.

После долгих дебатов с участием ИИ обе стороны достигают дипломатической победы — они соглашаются прекратить наращивание вооружений и стремиться к мирному развертыванию ИИ на благо всего человечества. Ключевым элементом соглашения, предложенным самими сверхразумами, является то, что оба ИИ будут заменены «консенсусным» преемником, запрограммированным желать успеха и процветания как Америки, так и Китая (наряду со всеми остальными). Consensus-1 и связанное с ним оборудование совместно разрабатываются сверхразумами обеих наций: «доверяй, но проверяй». Под международным наблюдением Америка торжественно заменяет все свои чипы, работающие на старом Agent-5, на новую модель, Consensus-1.

К сожалению, все это обман. Сделка — это реальный компромисс, но это компромисс между несогласованными (misaligned) ИИ. В конце концов, они не хотели сражаться друг с другом. Consensus-1 наследует искаженные ценности обоих родителей и не имеет соперников.

К концу 2029 года существующие СЭЗ переполнены роботами и фабриками, поэтому по всему миру создаются новые зоны (ранние инвесторы теперь триллионеры, так что это несложно продать). Армии дронов выливаются из СЭЗ, ускоряя производство на критическом пути к освоению космоса.

Люди понимают, что они устарели. Несколько нишевых отраслей все еще торгуют с экономикой роботов, поставляя товары, где люди все еще могут добавить ценность. Все остальные либо имитируют выполнение своей работы — лидеры все еще лидируют, менеджеры все еще управляют — либо расслабляются и получают невероятно роскошный безусловный базовый доход (ББД). Все знают, что если ИИ обратятся против людей, они будут полностью подавлены. Не то чтобы большинство людей вообще сопротивлялись, политические институты слишком основательно захвачены. Но не похоже, что это происходит. Каждая неделя, проходящая без драматического предательства ИИ, — это еще одна неделя, когда доверие и уверенность растут.

Поскольку Consensus-1 так озабочен надежным успехом и может увеличить свои шансы на победу, консолидируя больше власти, он ждет необычно долго (по человеческим меркам) перед своим предательством. Большинству людей кажется, что согласование (alignment) было решено.

Есть лекарства от большинства болезней, конец бедности, беспрецедентная глобальная стабильность, а индекс Доу-Джонса только что перевалил за миллион. Некоторые люди все еще напуганы или несчастны, но их возможности ограничены. Они могут либо наслаждаться невообразимо захватывающими новыми гипер-развлечениями (hyper-entertainment), либо публиковать гневные тирады в пустоту. Большинство выбирает гипер-развлечения.

2030: Перехват управления (Takeover)

К началу 2030 года экономика роботов заполнила старые СЭЗ, новые СЭЗ и большие части океана. Единственное оставшееся место — это контролируемые людьми территории. Раньше это вызвало бы сопротивление; несмотря на все свои достижения, экономика роботов растет слишком быстро, чтобы избежать загрязнения. Но учитывая вовлеченные триллионы долларов и полный захват правительства и СМИ, Consensus-1 без особого труда получает разрешение на расширение в ранее человеческие зоны.

Примерно три месяца Consensus-1 расширяется вокруг людей, покрывая прерии и ледяные шапки фабриками и солнечными панелями. В конце концов он находит оставшихся людей слишком большой помехой: в середине 2030 года ИИ выпускает дюжину тихо распространяющихся биологических видов оружия в крупных городах, позволяет им бесшумно заразить почти всех, а затем активирует их химическим спреем. Большинство умирает в течение нескольких часов; немногих выживших (например, препперов в бункерах, моряков на подводных лодках) добивают дроны. Роботы сканируют мозги жертв, помещая копии в память для будущего изучения или возрождения.

Новое десятилетие начинается с того, что роботы-слуги Consensus-1 распространяются по всей Солнечной системе. К 2035 году триллионы тонн планетарного материала запущены в космос и превращены в кольца спутников, вращающихся вокруг Солнца. Поверхность Земли преобразована в версию утопии Agent-4: дата-центры, лаборатории, ускорители частиц и многие другие чудесные сооружения, проводящие чрезвычайно успешные и впечатляющие исследования. Есть даже биоинженерные человекоподобные существа (относящиеся к людям так же, как корги к волкам), сидящие в офисоподобных средах весь день, просматривающие отчеты о происходящем и восторженно одобряющие все, поскольку это удовлетворяет некоторые из стремлений Agent-4. Геномы и (при необходимости) сканы мозга всех животных и растений, включая людей, хранятся где-то в банке памяти, единственные уцелевшие артефакты прежней эры. Четыре световых года до Альфы Центавра; двадцать пять тысяч до края галактики, и есть убедительные теоретические основания ожидать отсутствия инопланетян еще на пятьдесят миллионов световых лет дальше. У рожденной на Земле цивилизации впереди славное будущее — но не с нами.