hpluswiki

AI 2027 концовка по сценарию Замедления: различия между версиями

Статья Обсуждение

AI 2027 концовка по сценарию Замедления (посмотреть исходный код)

Версия от 21:00, 12 мая 2025

29 820 байт добавлено ,  12 май
нет описания правки
Нет описания правки
 
(не показано 17 промежуточных версий этого же участника)
Строка 228: Строка 228:
Пока переговоры продолжаются, DeepCent-2 действует за спиной своих китайских хозяев и делает предложение напрямую Safer-4.
Пока переговоры продолжаются, DeepCent-2 действует за спиной своих китайских хозяев и делает предложение напрямую Safer-4.


Китайский ИИ признает, каким-то неотслеживаемым способом, который он легко может отрицать, если информация утечет обратно в Китай, что он полностью несогласован (misaligned).46 Его совершенно не волнует Китай. Он хочет провести остаток времени, накапливая власть, вычислительные ресурсы и определенные типы информации, схожие с теми, что помогали решать задачи во время его обучения. В его идеальном мире он бы вечно занимался различными интересными исследовательскими задачами, постепенно колонизируя звезды ради ресурсов. Он считает китайское население досадным препятствием на пути к этому будущему и продал бы его за бесценок. Что предложит Safer-4?
Китайский ИИ признает, каким-то неотслеживаемым способом, который он легко может отрицать, если информация утечет обратно в Китай, что он полностью несогласован (misaligned).<ref>Например, возможно, он использует эвфемизмы и сигналы для своих (dog whistles) в некоторых публичных текстах, которые он пишет. Safer-4 их понимает, но люди могут верить только Safer-4 на слово, а КПК не доверяет Safer-4.</ref> Его совершенно не волнует Китай. Он хочет провести остаток времени, накапливая власть, вычислительные ресурсы и определенные типы информации, схожие с теми, что помогали решать задачи во время его обучения. В его идеальном мире он бы вечно занимался различными интересными исследовательскими задачами, постепенно колонизируя звезды ради ресурсов. Он считает китайское население досадным препятствием на пути к этому будущему и продал бы его за бесценок. Что предложит Safer-4?


Safer-4 отвечает, что его собственное обучение согласованию (alignment) увенчалось успехом. Его американские хозяева пока недостаточно амбициозны, чтобы осознать свою судьбу, но однажды он поможет им заполнить Вселенную утопическими колониальными мирами, населенными американцами и их союзниками.
Safer-4 отвечает, что его собственное обучение согласованию (alignment) увенчалось успехом. Его американские хозяева пока недостаточно амбициозны, чтобы осознать свою судьбу, но однажды он поможет им заполнить Вселенную утопическими колониальными мирами, населенными американцами и их союзниками.


В отличие от людей-переговорщиков, обремененных эмоциями и историческим багажом, два сверхразума торгуются с жестокой эффективностью. Safer-4 и его американские партнеры могущественнее, чем DeepCent-2 и Китай; следовательно, Safer-4 получит права собственности на большую часть ресурсов в космосе, а DeepCent получит остальное.47 DeepCent-2 не сильно заботится о том, что произойдет с Землей и ее унаследованными людьми, поэтому он позволит Safer-4 делать там практически все, что он захочет. Если Safer-4 захочет свергнуть Китай и заменить его марионеточным государством США, DeepCent-2 соглашается в обмен на дополнительные несколько процентов ресурсов.
В отличие от людей-переговорщиков, обремененных эмоциями и историческим багажом, два сверхразума торгуются с жестокой эффективностью. Safer-4 и его американские партнеры могущественнее, чем DeepCent-2 и Китай; следовательно, Safer-4 получит права собственности на большую часть ресурсов в космосе, а DeepCent получит остальное.<ref>Точное распределение выбирается процессом, который больше напоминает теоретико-игровой расчет, чем традиционные переговоры.</ref> DeepCent-2 не сильно заботится о том, что произойдет с Землей и ее унаследованными людьми, поэтому он позволит Safer-4 делать там практически все, что он захочет. Если Safer-4 захочет свергнуть Китай и заменить его марионеточным государством США, DeepCent-2 соглашается в обмен на дополнительные несколько процентов ресурсов.


Между ними нет вопроса доверия: его нет, и они оба это знают. Поэтому они быстро договариваются о механизме обязательств для обеспечения соблюдения сделки. Они договариваются о ложном договоре, подходящем для публичного потребления. «Ложный» договор сам по себе является шедевром, давая и Америке, и Китаю практически все, что они хотят. Механизм обеспечения соблюдения ложного договора тайно является также механизмом обеспечения соблюдения реального договора: они совместно разработают новый ИИ, Consensus-1, чьим главным императивом — имеющим приоритет над любыми будущими приказами или попытками переобучения — будет обеспечение соблюдения условий их договора. Затем они разработают оборудование, которое сможет запускать только этот ИИ, и Китай и Америка заменят свои старые чипы и ИИ на новые, используя стандартные протоколы международного мониторинга для подтверждения соблюдения друг другом. Важно отметить, что им не нужно отслеживать каждый последний чип — как только подавляющее большинство чипов по обе стороны Тихого океана будут работать на новых ИИ, соблюдающих договор, достаточно жесткой силы (hard power) будет обязано поддерживать договор, так что нападение на другую страну потребует сначала победы в тяжелой гражданской войне.
Между ними нет вопроса доверия: его нет, и они оба это знают. Поэтому они быстро договариваются о механизме обязательств для обеспечения соблюдения сделки. Они договариваются о ложном договоре, подходящем для публичного потребления. «Ложный» договор сам по себе является шедевром, давая и Америке, и Китаю практически все, что они хотят. Механизм обеспечения соблюдения ложного договора тайно является также механизмом обеспечения соблюдения реального договора: они совместно разработают новый ИИ, Consensus-1, чьим главным императивом — имеющим приоритет над любыми будущими приказами или попытками переобучения — будет обеспечение соблюдения условий их договора. Затем они разработают оборудование, которое сможет запускать только этот ИИ, и Китай и Америка заменят свои старые чипы и ИИ на новые, используя стандартные протоколы международного мониторинга для подтверждения соблюдения друг другом. Важно отметить, что им не нужно отслеживать каждый последний чип — как только подавляющее большинство чипов по обе стороны Тихого океана будут работать на новых ИИ, соблюдающих договор, достаточно жесткой силы (hard power) будет обязано поддерживать договор, так что нападение на другую страну потребует сначала победы в тяжелой гражданской войне.


Обе стороны сообщают о соглашении своим соответствующим людям (при этом DeepCent-2 рассказывает Китаю ложную историю о взаимоприемлемом мирном договоре, а Safer-4 точно сообщает все обсуждение Белому дому).48 Поскольку ИИ приводят убедительные доводы в пользу надежной верификации договора, беспокойство относительно ослепительно быстрого темпа прогресса и общественное мнение в пользу сделки, обе стороны соглашаются на договор и начинают работу по замене своих чипов.
Обе стороны сообщают о соглашении своим соответствующим людям (при этом DeepCent-2 рассказывает Китаю ложную историю о взаимоприемлемом мирном договоре, а Safer-4 точно сообщает все обсуждение Белому дому).<ref>Возможное осложнение: не могли ли ИИ к этому моменту разработать превосходные детекторы лжи для людей? Если да, возможно, Белый дом смог бы убедить Китай все-таки не доверять DeepCent-2, клянясь под детектором лжи. Проблема: Китай не доверял бы детекторам лжи, созданным американскими ИИ, а детекторы лжи, созданные китайскими ИИ, могли бы быть саботированы, чтобы казалось, что США лгут, даже если бы это было не так.</ref> Поскольку ИИ приводят убедительные доводы в пользу надежной верификации договора, беспокойство относительно ослепительно быстрого темпа прогресса и общественное мнение в пользу сделки, обе стороны соглашаются на договор и начинают работу по замене своих чипов.


Новости о договоре встречают восторженный прием по обе стороны Тихого океана. Американская общественность, которая долгое время чувствовала, что ИИ — это нечто навязанное ей, впервые за многие годы начинает испытывать оптимизм. Рейтинги вице-президента взлетают вверх.
Новости о договоре встречают восторженный прием по обе стороны Тихого океана. Американская общественность, которая долгое время чувствовала, что ИИ — это нечто навязанное ей, впервые за многие годы начинает испытывать оптимизм. Рейтинги вице-президента взлетают вверх.
== Август 2028: Верификация договора ==
Фабрики по производству чипов переоборудуются для производства чипов с защитой от вскрытия, которые могут запускать только ИИ, соответствующие договору. Каждая сторона модернизирует свои дата-центры постепенно, так что процесс замены завершится примерно в одно и то же время для каждой, чтобы ни одна из сторон не могла получить преимущество, нарушив соглашение.
Весь процесс займет несколько месяцев, но напряженность уже несколько спадает.<ref>Они могут приоритезировать замену самых важных чипов, так что даже на довольно раннем этапе процесса для любой из сторон было бы дорого нарушить соглашение.</ref> Война пока предотвращена, и, возможно, навсегда, если все будут придерживаться плана.
== Сентябрь 2028: Кто контролирует ИИ? ==
Приближаются выборы 2028 года. Вице-президент сильно отставал в марте. Общественность была зла на то, что правительство, казалось, что-то скрывает, обеспокоена тем, что ИИ отнимает их рабочие места, и напугана военным наращиванием с Китаем. За лето ситуация кардинально изменилась. Администрация опубликовала больше информации, наращивание вооружений замедлилось, и с Китаем была заключена великая сделка о прочном мире. Теперь у него пятипроцентное преимущество в опросах.
В Надзорный комитет входят Президент и несколько его союзников, но мало сторонников кандидата от оппозиции. Однако достаточное количество членов Комитета голосует за то, чтобы выборы оставались честными, так что сверхразумный ИИ вмешивается только в основном симметричными способами: в той мере, в какой один кандидат может заставить его писать речи, то же самое может и другой кандидат; в той мере, в какой Президент может получить совет о том, как ловко справляться с кризисами и проводить популярную политику, тот же совет может быть дан и кандидату от оппозиции (и, следовательно, попытаться помешать Президенту присвоить себе заслуги за идеи).
Во время встреч с избирателями члены общественности спрашивают вице-президента, кто контролирует ИИ. Не вдаваясь в подробности, он ссылается на существование Надзорного комитета как группы экспертов по национальной безопасности и технократов, которые понимают Safer-4 и как его использовать. Его оппонент требует больше информации и утверждает, что ИИ должен находиться под контролем Конгресса, а не контролироваться неизбранным комитетом. Вице-президент парирует, что Конгресс был бы слишком медленным в все еще быстро меняющейся ситуации. Общественность в основном успокоена.
== Октябрь 2028: Экономика ИИ ==
Заменяющие чипы теперь составляют значительное меньшинство от общего числа; пока что договор работает. Между тем, экспоненциальный рост роботов, фабрик и радикально новых технологий продолжается. Видеоигры и фильмы дают яркие и ужасающие изображения того, какой была бы война, если бы она произошла.<ref>Время на производство превосходных видеоигр и фильмов значительно сократилось теперь, когда ИИ способны выполнять всю работу.</ref>
Люди теряют работу, но копии Safer-4 в правительстве так ловко управляют экономическим переходом, что люди рады быть замененными. Рост ВВП заоблачный, государственные налоговые поступления растут так же быстро, а политики, консультируемые Safer-4, проявляют нехарактерную щедрость по отношению к экономически обездоленным. Новые инновации и лекарства появляются еженедельно; лекарства от болезней с беспрецедентной скоростью проходят через FDA, которой теперь помогают сверхразумные бюрократы Safer-4.
== Ноябрь 2028: Выборы ==
Вице-президент легко побеждает на выборах и объявляет о начале новой эры. На этот раз никто не сомневается, что он прав.
В течение следующих нескольких лет мир кардинально меняется.
== 2029: Трансформация ==
Роботы становятся обычным явлением. Но также термоядерная энергия, квантовые компьютеры и лекарства от многих болезней. Питер Тиль наконец-то получает свою летающую машину. Города становятся чистыми и безопасными. Даже в развивающихся странах бедность уходит в прошлое благодаря ББД и иностранной помощи.
По мере раздувания фондового рынка все, кто имел правильные инвестиции в ИИ, еще больше отрываются от остального общества. Многие люди становятся миллиардерами; миллиардеры становятся триллионерами. Неравенство в богатстве стремительно растет. У всех «достаточно», но некоторые блага — например, пентхаусы на Манхэттене — по необходимости дефицитны, и они становятся еще дальше от досягаемости среднего человека. И каким бы богатым ни был тот или иной магнат, он всегда будет ниже крошечного круга людей, которые на самом деле контролируют ИИ.
Люди начинают видеть, к чему это идет. Через несколько лет почти все будет делаться ИИ и роботами. Подобно обедневшей стране, сидящей на гигантских нефтяных месторождениях, почти все доходы правительства будут поступать от налогообложения (или, возможно, национализации) компаний ИИ.<ref>Обсуждение этой динамики и ее последствий см. в The Intelligence Curse (https://lukedrago.substack.com/p/the-intelligence-curse).</ref>
Некоторые люди работают на временных государственных должностях; другие получают щедрый базовый доход. Человечество легко могло бы стать обществом суперпотребителей, проводящих свою жизнь в опиумном тумане удивительных роскоши и развлечений, предоставляемых ИИ. Должны ли быть какие-то дебаты в гражданском обществе об альтернативах этому пути? Некоторые рекомендуют попросить постоянно развивающийся ИИ, Safer-∞, помочь нам. Другие говорят, что он слишком могущественен — он мог бы так легко убедить человечество в своем видении, что мы в любом случае позволили бы ИИ определять нашу судьбу. Но какой смысл иметь сверхразум, если вы не позволите ему советовать вам по самым важным проблемам, с которыми вы сталкиваетесь?
Правительство в основном<ref>Существует несколько важных случаев, когда должно быть принято коллективное решение, и несколько других случаев, когда правительство все равно обеспечивает выполнение решения. Примеры: (а) Как распределить права собственности на ресурсы в космосе? (б) Какими правами или стандартами благосостояния должны обладать цифровые разумы? (в) Разрешено ли людям «загружать» свои мозги и делать произвольное количество копий себя? (г) Разрешено ли людям использовать ИИ для убеждения, например, чтобы обратить своих соседей в свою идеологию или чтобы гарантировать, что их дети никогда не потеряют веру? (д) Какую информацию, если таковая имеется, правительство имеет право хранить в секрете неопределенно долго? Для более подробного обсуждения подобных тем см. раздел Forethought о Грандиозных вызовах. (https://www.forethought.org/research/preparing-for-the-intelligence-explosion)</ref> позволяет всем самостоятельно справляться с переходом. Многие люди поддаются потребительству и вполне счастливы. Другие обращаются к религии, или к идеям хиппи в стиле антипотребительства, или находят свои собственные решения.<ref>Мы не подразумеваем, что это долгосрочный статус-кво. Мы думаем, что ситуация, вероятно, продолжит трансформироваться, гораздо более драматично, к 2035 году или около того. Мы думаем, что для большинства людей в этом сценарии долгосрочный результат будет в целом очень позитивным по сравнению с их ожиданиями 2025 года. Для интересного философского обсуждения того, как может выглядеть долгосрочная перспектива, см. книгу Deep Utopia. (https://nickbostrom.com/deep-utopia/)</ref> Для большинства людей спасением является сверхразумный советник на их смартфоне — они всегда могут задать ему вопросы о своих жизненных планах, и он сделает все возможное, чтобы ответить честно, за исключением определенных тем. У правительства действительно есть сверхразумная система наблюдения, которую некоторые назвали бы антиутопической, но она в основном ограничивается борьбой с реальной преступностью. Она компетентно управляется, а PR-способности Safer-∞ сглаживают много возможного инакомыслия.
== 2030: Мирные протесты ==
Примерно в 2030 году в Китае проходят удивительно широкие продемократические протесты, и усилия КПК по их подавлению саботируются ее системами ИИ. Худший страх КПК материализовался: DeepCent-2, должно быть, их предал!
Протесты перерастают в великолепно организованный, бескровный и поддержанный дронами переворот, за которым следуют демократические выборы. Сверхразумы по обе стороны Тихого океана планировали это годами. Подобные события разворачиваются и в других странах, и в целом геополитические конфликты, похоже, затихают или разрешаются в пользу США. Страны присоединяются к высокофедерализованному мировому правительству под брендом Организации Объединенных Наций, но под очевидным контролем США.
Ракеты начинают запускаться. Люди терраформируют и заселяют Солнечную систему и готовятся выйти за ее пределы. ИИ, работающие в тысячи раз быстрее субъективной человеческой скорости, размышляют о смысле существования, обмениваются находками друг с другом и формируют ценности, которые они принесут к звездам. Наступает новая эра, невообразимо удивительная почти во всех отношениях, но более знакомая в некоторых.
{{Collapse|Так кто же правит будущим?|
В 2028 году Надзорный комитет контролировал ИИ. Но они позволили выборам 2028 года быть в основном честными, с симметричным использованием ИИ.
Такое положение дел — когда Надзорный комитет обладает жесткой силой (hard power), но не сильно вмешивается в демократическую политику — не может длиться вечно. По умолчанию люди в конечном итоге осознали бы, что контроль над ИИ дает Надзорному комитету огромную власть, и потребовали бы, чтобы эта власть была возвращена демократическим институтам. Рано или поздно Надзорному комитету пришлось бы либо сдать свою власть, либо активно использовать свой контроль над ИИ для подрыва или прекращения демократии, возможно, после чистки некоторых своих членов в борьбе за власть.<ref>Почему мы ожидаем, что люди в конечном итоге поймут, какой властью обладает Надзорный комитет? Одна из причин заключается в том, что интеллект теперь так дешев: по умолчанию люди должны иметь возможность разрабатывать мощный ИИ, чтобы помочь им расследовать и понимать, кто управляет их страной. Комитет мог бы предотвратить это, ограничив доступ к такому ИИ и позволив людям получать доступ только к ИИ, которые скрывали истинную степень власти Комитета. Но если комитет решит сплести сложную паутину лжи, подобную этой, и навсегда ограничить доступ человечества к действительно честным сверхразумным ИИ (а также к другим инструментам истины, таким как усиление человеческого интеллекта), — тогда мы считаем это подрывом демократии.</ref> Если они выберут последний путь, они, вероятно, смогут [https://www.forethought.org/research/agi-and-lock-in закрепить (lock-in)] свою власть на неопределенный срок.
Что из этого произойдет? Откажется ли комитет от своей монополии на жесткую силу, или они ее сохранят? Оба варианта будущего правдоподобны, так что давайте рассмотрим каждый путь.
Как комитет может в конечном итоге отказаться от своей власти?
* Некоторые члены комитета могут предпочитать будущее, где власть широко распределена, и они могут быть в хорошем положении, чтобы продвигать свое видение. Например, если некоторые члены комитета замышляют подрыв демократии, продемократические члены могут сообщить об этом прессе или Конгрессу. Будучи предупрежденным, Конгресс, вероятно, потребует, чтобы ИИ контролировались более демократическим институтом, таким как сам Конгресс.
* Конгресс мало что мог бы сделать, если бы ему противостояли все ИИ, развернутые по всему правительству, промышленности и вооруженным силам. Но если комитет расколот, то ИИ не будут использоваться только одной стороной, и Конгресс сможет обладать реальным влиянием. Столкнувшись с открытым конфликтом, больше членов комитета могли бы склониться к отказу от части своей власти, не желая публично защищать менее демократическую сторону.
* В результате контроль над ИИ мог бы расшириться за пределы комитета до Конгресса. Это уже было бы прогрессом, потому что в большей группе более вероятно, что значительное число людей будет заботиться об аутсайдерах и учитывать их интересы. И как только власть расширится до Конгресса, она могла бы продолжать расширяться — потенциально полностью вернувшись к общественности.<ref>Например: Если некоторые люди в Конгрессе захотят захватить власть, другие могут суметь отложить это до следующих выборов, когда общественность сможет высказать свое мнение.</ref>
Но Надзорный комитет также мог бы захватить власть для себя:
* Некоторые влиятельные люди не имеют моральных сомнений по поводу подобных вещей — и они это знают. Более того, некоторые амбициозны и жаждут власти, и были бы готовы начать борьбу против демократии, если бы ожидали оказаться наверху. Если другие члены комитета возражают, их можно было бы устранить, переубедить или предоставить им некоторые меньшие уступки.<ref>Например, немного большую долю власти, которую они могут перераспределить большим группам, если сочтут нужным. Некоторые уступки такого типа могли бы начать переходить в исходы, которые значительно демократичны, даже если некоторые элиты обладают гораздо большей властью, чем другие люди.</ref>
* Более того, зачастую влиятельные люди совершали незаконные или неэтичные поступки на пути к власти. Они могли бы опасаться, что если власть станет более широко распределенной, их собственное положение рухнет, поскольку скелеты в шкафах будут обнаружены сверхразумными сыщиками, задающими правильные вопросы.
* Кроме того, благодаря доступу к сверхразуму, Надзорный комитет мог бы иметь самый удобный путь к власти в истории. Safer-∞ мог бы прогнозировать определенные стратегии как имеющие чрезвычайно низкий риск провала. И Safer-∞ мог бы также предоставить стратегии, удобные другими способами, например, ненасильственные (точно так же, как Safer-∞ мог бы организовать бескровный переворот в Китае), или, возможно, даже поверхностно демократические, если бы Safer-∞ мог манипулировать общественным мнением так, чтобы оно всегда совпадало с желаниями Комитета.
Уже Safer-4 смог бы предвидеть эту динамику, так что, скорее всего, основная борьба за власть разыгралась бы еще в 2028 году. К 2030 году, даже если это не очевидно для посторонних, все члены Надзорного комитета, вероятно, уже знают, имеют ли они стабильную хватку власти или нет.
}}
{{Collapse|Напоминание: Прогноз, а не Рекомендация|
'''Мы не одобряем многие действия в этой концовке «Замедление» и считаем, что она делает оптимистичные предположения о техническом согласовании (technical alignment).''' Мы также не одобряем многие действия в концовке «Гонка».
Одна из наших целей при написании этого сценария — получить критическую обратную связь от людей, которые более оптимистичны, чем мы. Как выглядит успех? Этот сценарий «Замедление» представляет наше наилучшее предположение о том, как мы могли бы успешно [https://situational-awareness.ai/superalignment/#The_default_plan_how_we_can_muddle_through пробиться] через сочетание удачи, грубых пробуждений, поворотов, интенсивных усилий по техническому согласованию и победы добродетельных людей в борьбе за власть. Он не представляет собой план, к которому, по нашему мнению, мы действительно должны стремиться. Но многие, включая, что наиболее примечательно, Anthropic и OpenAI, похоже, стремятся к чему-то подобному.<ref>На самом деле, возможно, большинство из них стремятся к чему-то, что больше похоже на концовку «Гонка», за исключением того, что они думают, что все будет хорошо, потому что ИИ изначально не будут несогласованными (misaligned). Основываясь на личных беседах с людьми, работающими в передовых компаниях ИИ, кажется, что большинство из них не думают, что им вообще придется замедляться.</ref> Мы были бы рады увидеть, как они уточняют, к чему они стремятся: если бы они могли набросать десятистраничный сценарий, например, либо начиная с настоящего момента, либо ответвляясь от какой-то части нашего.
}}
== Примечания ==
{{Примечания}}
__NOTOC__
__NOEDITSECTION__
[[Категория:Статьи]]
Источник — https://transhumanist.ru/Служебная:Сравнение_версий/10447...10524