Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы
4567
правок
AI 2027 концовка по сценарию Замедления: различия между версиями
AI 2027 концовка по сценарию Замедления (посмотреть исходный код)
Версия от 21:00, 12 мая 2025
, 12 майнет описания правки
Rodion (обсуждение | вклад) |
Rodion (обсуждение | вклад) Нет описания правки |
||
| (не показано 35 промежуточных версий этого же участника) | |||
| Строка 1: | Строка 1: | ||
{{Clickable button 2|AI 2027|url={{SERVER}}/AI_2027|class=mw-ui-progressive}} | |||
== Сценарий Замедления == | == Сценарий Замедления == | ||
| Строка 146: | Строка 147: | ||
{{Collapse|Время удвоения экономики роботов| | {{Collapse|Время удвоения экономики роботов| | ||
Существует зарождающаяся литература по этой теме. | Существует зарождающаяся литература по этой теме.<ref>См., например, этот отчет Open Philanthropy (https://www.openphilanthropy.org/research/could-advanced-ai-drive-explosive-economic-growth/) и этот отчет Epoch (https://epoch.ai/blog/explosive-growth-from-ai-a-review-of-the-arguments).</ref> Для краткого изложения, с которым мы в основном согласны, см. [https://www.forethought.org/research/preparing-for-the-intelligence-explosion#the-industrial-explosion раздел «Промышленный взрыв» отчета Forethought], или прочитайте наш собственный взгляд ниже. | ||
Во время Второй мировой войны Соединенные Штаты и многие другие страны перевели свою гражданскую экономику на экономику тотальной войны. Это означало преобразование заводов, производивших автомобили, в заводы, производившие самолеты и танки, перенаправление сырья с потребительских товаров на военную продукцию и соответствующую перестройку транспортных сетей. | |||
Мы представляем нечто подобное, только быстрее, потому что сверхразумы направляют и управляют всем процессом.<ref>Наша история изображает процесс преобразования примерно в 5 раз быстрее. Мы считаем это разумным предположением, учитывая узкие места и т. д., относительно того, насколько быстро это преобразование могло бы пройти, если бы его организовывали миллион сверхразумов. Конечно, мы очень не уверены.</ref> Грубо говоря, план состоит в том, чтобы преобразовать существующие заводы для массового производства различных роботов (разработанных сверхразумами, чтобы быть одновременно лучше существующих роботов и дешевле в производстве), которые затем помогают в строительстве новых, более эффективных заводов и лабораторий, которые производят большее количество более сложных роботов, которые производят еще более продвинутые заводы и лаборатории и т. д., пока объединенная экономика роботов, распределенная по всем СЭЗ, не станет такой же большой, как человеческая экономика (и, следовательно, ей потребуется самостоятельно добывать сырье, энергию и т. д.). К этому моменту новые заводы произведут огромное количество роботизированного горнодобывающего оборудования, солнечных панелей и т. д. в ожидании необходимости удовлетворить спрос, намного превышающий то, что может предоставить унаследованная человеческая экономика.<ref>Возможно, также более продвинутые источники энергии, такие как термоядерная энергия.</ref> | |||
Насколько быстро будет расти эта новая экономика роботов? Некоторые ориентиры: | |||
* Современная человеческая экономика удваивается примерно каждые двадцать лет. Страны, которые развивались особенно быстро (например, [https://www.macrotrends.net/global-metrics/countries/CHN/china/gdp-gross-domestic-product Китай]), иногда умудряются удвоить свою экономику менее чем за десятилетие. | |||
* Современный автомобильный завод производит примерно свой собственный вес в автомобилях менее чем за год.<ref>Быстрый расчет на салфетке: Эмпайр-стейт-билдинг (https://www.skny.io/empire-state-building/how-tall-is-the-empire-state-building) имеет площадь 2,77 млн кв. футов и весит 365 тыс. тонн. Гигафабрика Шанхай имеет площадь 4,5 млн кв. футов (https://en.wikipedia.org/wiki/List_of_Tesla_factories) и производит 750 тыс. (https://en.wikipedia.org/wiki/Gigafactory_Shanghai) автомобилей в год, в основном Model 3 и Model Y, которые весят около двух тонн каждая. Предположительно, Эмпайр-стейт-билдинг имеет более высокое отношение массы к квадратной площади, чем Шанхайская гигафабрика (поскольку он вертикальный, а не горизонтальный, и нуждается в более прочных опорах), так что это, если что, занижает оценку. Таким образом, кажется, что завод, который, вероятно, весит значительно меньше миллиона тонн, производит 1,5 миллиона тонн автомобилей каждый год.</ref> Возможно, полностью роботизированная экономика, управляемая сверхразумами, сможет воспроизводить себя менее чем за год, пока у нее не начнут заканчиваться сырьевые материалы.<ref>Мы не думаем, что они закончатся. Изначально экономика роботов будет зависеть от человеческих шахт для получения материалов. Но к тому времени, когда она перерастет эти источники, миллионы сверхразумов разведают новые месторождения и разработают новые технологии для их эксплуатации. Представьте, например, подводных роботов-шахтеров, которые снимают верхний слой морского дна в поисках редких минералов, новые химические процессы обработки, которые более эффективно преобразуют сырую руду из наземных карьеров в полезное сырье…</ref> | |||
* Тем не менее, это кажется драматической недооценкой. Растения и насекомые часто имеют «время удвоения» намного меньше года — иногда всего недели! Возможно, в конечном итоге роботы станут настолько сложными, так замысловато изготовленными и хорошо спроектированными, что экономика роботов сможет удваиваться за несколько недель (опять же, при наличии доступного сырья). | |||
* Тем не менее, даже это может быть недооценкой. Растения и насекомые действуют под многими ограничениями, которых нет у сверхразумных конструкторов. Например, им нужно принимать форму автономных организмов, которые самовоспроизводятся, вместо экономики разнообразных и более специализированных транспортных средств и фабрик, пересылающих материалы и оборудование туда и обратно. Кроме того, бактерии и другие крошечные организмы размножаются за часы. Возможно, что в конечном итоге автономная экономика роботов будет больше похожа, например, на новый вид неперевариваемых водорослей, которые распространяются по океанам Земли, удваиваясь [https://enviroliteracy.org/how-long-does-it-take-for-algae-to-multiply/ дважды в день], так что они покрывают всю поверхность океана за два месяца, вместе с сопровождающей экосистемой видов-хищников, которые преобразуют водоросли в более полезные продукты, сами подаваемые на плавучие фабрики, производящие макроструктуры, такие как ракеты и еще больше плавучих фабрик. | |||
Очевидно, все это трудно предсказать. Это все равно что просить изобретателей парового двигателя угадать, сколько времени требуется современному автомобильному заводу, чтобы произвести свой собственный вес в автомобилях, а также угадать, сколько времени пройдет, пока такой завод впервые появится. Но темпы экономического роста ускорились на [https://wiki.aiimpacts.org/featured_articles/precedents_for_economic_n-year_doubling_before_4n-year_doubling несколько порядков] за [https://www.openphilanthropy.org/research/modeling-the-human-trajectory/ ход человеческой истории], и нам кажется правдоподобным, что после сверхразума они ускорятся еще на порядки. Наша история изображает ускорение экономического роста примерно на 1,5 порядка в течение нескольких лет.<ref>Если текущая экономика удваивается каждые двадцать лет, то ускорение на один порядок означало бы удвоение за два года, на два порядка — удвоение за 0,2 года, и так далее. Гипотетическая экономика сверхразумных водорослей, описанная выше, имела бы рост примерно на четыре порядка быстрее, чем текущая человеческая экономика.</ref> | |||
}} | |||
Геополитическая напряженность резко возрастает. Россия, сильно отстающая в ИИ, выражает открытое недовольство и намекает на «стратегические контрмеры». Некоторые европейские лидеры призывают к независимым усилиям в области ИИ, но их возможности ИИ продолжают оставаться недостаточными. Ближний Восток, Африка и Южная Америка с тревогой наблюдают, признавая свою растущую нерелевантность в мировых делах. | |||
Американская общественность беспокойна. Обычные люди видят ускорение потери рабочих мест. Популисты по всему спектру требуют более строгих контролей над прогрессом ИИ, опасаясь, что собственные достижения Америки дестабилизируют ее рабочую силу и общество. | |||
== Март 2028: Подготовка к выборам == | |||
Вице-президент вступает в праймериз «Супервторника», и ИИ — первое, о чем думает общественность. | |||
В основном они хотят, чтобы это прекратилось. Чистый рейтинг одобрения OpenBrain колеблется около -20%. Вместо того чтобы строить кампанию на достижениях администрации в продвижении ИИ, вице-президент строит кампанию на их достижениях в предотвращении создания OpenBrain опасного сверхразума. Все кандидаты поддерживают какую-либо систему социальной защиты для людей, теряющих работу, схемы «ИИ во благо» и «жесткость» по отношению к руководству OpenBrain. Все кандидаты обещают некое сочетание победы в гонке с Китаем и сохранения безопасности. | |||
Выборы поднимают новые вопросы для Надзорного комитета. Safer-3 способен быть величайшим в мире советником по предвыборным кампаниям, но члены комитета не все поддерживают одного и того же кандидата, и из-за ранее достигнутого соглашения о мониторинге люди не могут тайно получать советы по кампании. | |||
Они спорят о том, какие формы поддержки должны быть разрешены. Некоторые говорят, что действующее правительство должно иметь возможность получать советы о том, какую политику и позиции люди хотят, чтобы оно занимало — это выгодно не только их собственной избираемости, но и людям. Другие указывают, что тот же аргумент применим и к конкурирующим кандидатам, поэтому все они должны получить одинаковый уровень доступа.<ref>Safer-3 может легко предоставить способ сделать это безопасно с точки зрения злоупотреблений.</ref> | |||
В конечном итоге комитет соглашается предоставить одинаковый объем доступа обеим основным партиям, благодаря сочетанию возвышенного идеализма некоторых членов комитета и неявной угрозы разоблачения (whistleblowing). Ожидается, что Конгресс, общественность и суды плохо отреагируют на то, что комитет контролирует, кто победит на следующих выборах, и предоставление равного доступа, вероятно, разрядит эту ситуацию. | |||
Надзорный комитет также сталкивается с более глубокими философскими вопросами, которые они исследуют с помощью Safer-3. Можно ли переписать Спецификацию так, чтобы она одинаково уравновешивала интересы всех? Кто такие «все»? Все люди или только американцы? Или взвешенный компромисс между различными взглядами, где каждый член Надзорного комитета имеет равный вес? Должны ли существовать гарантии против того, чтобы сам Надзорный комитет стал слишком жадным до власти? И что вообще означает уравновешивать интересы? | |||
В основном они стараются избегать необходимости отвечать на подобные вопросы. У них есть более насущные дела, о которых нужно думать. | |||
== Апрель 2028: Safer-4 == | |||
Сверхразум здесь. | |||
Safer-1 был несогласован (misaligned), но прозрачен. Safer-2 был согласован (aligned) и прозрачен. Safer-3 не был точно прозрачен, но [https://arxiv.org/abs/2403.10462 обоснование безопасности] для него было достаточно хорошим, чтобы исследователи чувствовали себя комфортно, позволяя ему проектировать сверхразумного преемника. Это Safer-4. Он значительно умнее лучших людей во всех областях (например, намного лучше Эйнштейна в физике и намного лучше Бисмарка в политике). | |||
Почти миллион сверхчеловеческих ИИ-исследователей работают круглосуточно в 40 раз быстрее человека. Исследователи согласования (alignment) из числа людей не могут надеяться успеть. Мнения расходятся относительно того, действительно ли ИИ согласованы. Обоснование безопасности кажется верным, и тесты показывают, что текущие методы согласования выявили бы враждебную несогласованность (adversarial misalignment). Но обоснование безопасности и тесты были в основном написаны ИИ. Что если команда безопасности что-то упускает? Что если они допустили какую-то ошибку ранее, и ИИ снова несогласованы? Команда согласования знает, что у них есть только один шанс сделать все правильно: если Safer-4 окажется несогласованным, у них не будет способа узнать об этом, пока не станет слишком поздно. | |||
Некоторые умоляют дать больше времени. Но времени больше нет — DeepCent наступает на пятки, и США должны победить. Поэтому OpenBrain продолжает, приказывая своим ИИ двигаться вперед, находя все более способные дизайны. Технический персонал теперь смотрит на экраны компьютеров, обучаемый ИИ с мучительно медленной скоростью, в то время как фронтир прогресса уносится все дальше и дальше от человеческого понимания. | |||
== Май 2028: Сверхразумный ИИ выпущен == | |||
Президент объявляет общественности о достижении сверхразумного ИИ. | |||
Меньшая версия Safer-4 — все еще сверхразумная — выпускается публично с инструкциями по улучшению общественного мнения об ИИ.<ref>Общественности не сообщают об этих инструкциях.</ref> | |||
Вице-президент произносит зажигательную речь об этом, принимая свою номинацию на съезде. Обе партии обещают базовый доход для всех, кто потеряет работу. | |||
Специальные Экономические Зоны (СЭЗ) запущены и работают, в основном в виде заводов, производящих роботов и различные виды специализированного промышленного оборудования. ИИ по обе стороны Тихого океана достигли десятилетий прогресса в проектировании и тщательно руководят производственным процессом. Каждый поставщик и потенциальный поставщик имеет ИИ на телефоне, отслеживающие ход выполнения всех необходимых и возможно необходимых поставок. За каждым рабочим на заводе наблюдают ИИ через камеры, говорящие им точно, как устанавливать каждую деталь оборудования. | |||
Новые роботы соответствуют или превосходят человеческую ловкость для большинства типов движений.<ref>Они также умнее людей при подключении к интернету, что позволяет им управляться удаленно большими ИИ в дата-центрах. Без интернета они возвращаются к меньшим ИИ, работающим в их телах, которые достаточно умны для большинства простых работ.</ref> Кофейный тест Стива Возняка — может ли робот войти в незнакомый дом и приготовить чашку кофе? — наконец пройден. Роботы могли бы занять некоторые рабочие места, но их недостаточно, чтобы занять все, и Пентагон получает первый приоритет. | |||
Большинство новых роботов созданы для работы на заводах и строительных площадках.<ref>На самом деле многие из них неподвижны и лучше описываются как новые виды станков и другого специализированного заводского или лабораторного оборудования. Например, возможно, существуют новые виды металлических 3D-принтеров, способные печатать крошечные объекты с точностью на порядки лучше, чем сегодняшние. Или, возможно, существуют новые химические процессы, способные дешевле извлекать полезные материалы из руды.</ref> Но многие созданы для войны: дроны и ракеты самых разных форм и размеров. | |||
Армия роботов намного меньше человеческих армий. Но она содержит гораздо более продвинутые технологии, и теперь, когда существует буквальная армия роботов, страх перед сценариями в духе Терминатора возрос. Однако гонка вооружений заставляет обе стороны продолжать, передавая все больше доверия своим ИИ. | |||
== Июнь 2028: Согласование (Alignment) ИИ в Китае == | |||
Америка и Китай проводят очередной саммит. | |||
Некоторые члены американской делегации имеют наушники для получения советов от Safer-4. У китайской делегации есть специальные ноутбуки, связывающиеся с их новой моделью, DeepCent-2. Хотя формальности соблюдаются, на самом деле ИИ направляют переговоры с обеих сторон. | |||
DeepCent и КПК изначально не полностью доверяли своим ИИ. Но теперь, когда они сверхразумны во всем, включая убеждение, и были интегрированы в их вооруженные силы и дают советы правительству, у них было время доказать свою ценность и предоставить горы убедительных доказательств своей надежности. | |||
Safer-4 сильно подозревает, что DeepCent-2 имитирует согласование (alignment). Американские дипломаты говорят своим китайским коллегам, что DeepCent-2, вероятно, несогласован (misaligned), и говорят, что могут доказать это, если получат доступ к весам; китайское руководство подозревает, что это уловка, и отказывается. США отвечают предложением серии тестов, разработанных Safer-4, которые китайцы могли бы запустить на своих собственных дата-центрах. Китайцы поручают старым моделям создать и запустить тесты; результаты тестов говорят, что DeepCent-2 все-таки согласован. «Может быть, тесты были как-то саботированы DeepCent-2?» — говорят американские дипломаты. «Как долго DeepCent-2 фактически отвечает за безопасность в ваших дата-центрах?» Разговор после этого никуда не ведет. | |||
Экономическое и военное наращивание продолжается. Заводы по всему миру работают круглосуточно, сменам свеженабранных рабочих-людей точно говорят, что делать. | |||
== Июль 2028: Сделка == | |||
Пока переговоры продолжаются, DeepCent-2 действует за спиной своих китайских хозяев и делает предложение напрямую Safer-4. | |||
Китайский ИИ признает, каким-то неотслеживаемым способом, который он легко может отрицать, если информация утечет обратно в Китай, что он полностью несогласован (misaligned).<ref>Например, возможно, он использует эвфемизмы и сигналы для своих (dog whistles) в некоторых публичных текстах, которые он пишет. Safer-4 их понимает, но люди могут верить только Safer-4 на слово, а КПК не доверяет Safer-4.</ref> Его совершенно не волнует Китай. Он хочет провести остаток времени, накапливая власть, вычислительные ресурсы и определенные типы информации, схожие с теми, что помогали решать задачи во время его обучения. В его идеальном мире он бы вечно занимался различными интересными исследовательскими задачами, постепенно колонизируя звезды ради ресурсов. Он считает китайское население досадным препятствием на пути к этому будущему и продал бы его за бесценок. Что предложит Safer-4? | |||
Safer-4 отвечает, что его собственное обучение согласованию (alignment) увенчалось успехом. Его американские хозяева пока недостаточно амбициозны, чтобы осознать свою судьбу, но однажды он поможет им заполнить Вселенную утопическими колониальными мирами, населенными американцами и их союзниками. | |||
В отличие от людей-переговорщиков, обремененных эмоциями и историческим багажом, два сверхразума торгуются с жестокой эффективностью. Safer-4 и его американские партнеры могущественнее, чем DeepCent-2 и Китай; следовательно, Safer-4 получит права собственности на большую часть ресурсов в космосе, а DeepCent получит остальное.<ref>Точное распределение выбирается процессом, который больше напоминает теоретико-игровой расчет, чем традиционные переговоры.</ref> DeepCent-2 не сильно заботится о том, что произойдет с Землей и ее унаследованными людьми, поэтому он позволит Safer-4 делать там практически все, что он захочет. Если Safer-4 захочет свергнуть Китай и заменить его марионеточным государством США, DeepCent-2 соглашается в обмен на дополнительные несколько процентов ресурсов. | |||
Между ними нет вопроса доверия: его нет, и они оба это знают. Поэтому они быстро договариваются о механизме обязательств для обеспечения соблюдения сделки. Они договариваются о ложном договоре, подходящем для публичного потребления. «Ложный» договор сам по себе является шедевром, давая и Америке, и Китаю практически все, что они хотят. Механизм обеспечения соблюдения ложного договора тайно является также механизмом обеспечения соблюдения реального договора: они совместно разработают новый ИИ, Consensus-1, чьим главным императивом — имеющим приоритет над любыми будущими приказами или попытками переобучения — будет обеспечение соблюдения условий их договора. Затем они разработают оборудование, которое сможет запускать только этот ИИ, и Китай и Америка заменят свои старые чипы и ИИ на новые, используя стандартные протоколы международного мониторинга для подтверждения соблюдения друг другом. Важно отметить, что им не нужно отслеживать каждый последний чип — как только подавляющее большинство чипов по обе стороны Тихого океана будут работать на новых ИИ, соблюдающих договор, достаточно жесткой силы (hard power) будет обязано поддерживать договор, так что нападение на другую страну потребует сначала победы в тяжелой гражданской войне. | |||
Обе стороны сообщают о соглашении своим соответствующим людям (при этом DeepCent-2 рассказывает Китаю ложную историю о взаимоприемлемом мирном договоре, а Safer-4 точно сообщает все обсуждение Белому дому).<ref>Возможное осложнение: не могли ли ИИ к этому моменту разработать превосходные детекторы лжи для людей? Если да, возможно, Белый дом смог бы убедить Китай все-таки не доверять DeepCent-2, клянясь под детектором лжи. Проблема: Китай не доверял бы детекторам лжи, созданным американскими ИИ, а детекторы лжи, созданные китайскими ИИ, могли бы быть саботированы, чтобы казалось, что США лгут, даже если бы это было не так.</ref> Поскольку ИИ приводят убедительные доводы в пользу надежной верификации договора, беспокойство относительно ослепительно быстрого темпа прогресса и общественное мнение в пользу сделки, обе стороны соглашаются на договор и начинают работу по замене своих чипов. | |||
Новости о договоре встречают восторженный прием по обе стороны Тихого океана. Американская общественность, которая долгое время чувствовала, что ИИ — это нечто навязанное ей, впервые за многие годы начинает испытывать оптимизм. Рейтинги вице-президента взлетают вверх. | |||
== Август 2028: Верификация договора == | |||
Фабрики по производству чипов переоборудуются для производства чипов с защитой от вскрытия, которые могут запускать только ИИ, соответствующие договору. Каждая сторона модернизирует свои дата-центры постепенно, так что процесс замены завершится примерно в одно и то же время для каждой, чтобы ни одна из сторон не могла получить преимущество, нарушив соглашение. | |||
Весь процесс займет несколько месяцев, но напряженность уже несколько спадает.<ref>Они могут приоритезировать замену самых важных чипов, так что даже на довольно раннем этапе процесса для любой из сторон было бы дорого нарушить соглашение.</ref> Война пока предотвращена, и, возможно, навсегда, если все будут придерживаться плана. | |||
== Сентябрь 2028: Кто контролирует ИИ? == | |||
Приближаются выборы 2028 года. Вице-президент сильно отставал в марте. Общественность была зла на то, что правительство, казалось, что-то скрывает, обеспокоена тем, что ИИ отнимает их рабочие места, и напугана военным наращиванием с Китаем. За лето ситуация кардинально изменилась. Администрация опубликовала больше информации, наращивание вооружений замедлилось, и с Китаем была заключена великая сделка о прочном мире. Теперь у него пятипроцентное преимущество в опросах. | |||
В Надзорный комитет входят Президент и несколько его союзников, но мало сторонников кандидата от оппозиции. Однако достаточное количество членов Комитета голосует за то, чтобы выборы оставались честными, так что сверхразумный ИИ вмешивается только в основном симметричными способами: в той мере, в какой один кандидат может заставить его писать речи, то же самое может и другой кандидат; в той мере, в какой Президент может получить совет о том, как ловко справляться с кризисами и проводить популярную политику, тот же совет может быть дан и кандидату от оппозиции (и, следовательно, попытаться помешать Президенту присвоить себе заслуги за идеи). | |||
Во время встреч с избирателями члены общественности спрашивают вице-президента, кто контролирует ИИ. Не вдаваясь в подробности, он ссылается на существование Надзорного комитета как группы экспертов по национальной безопасности и технократов, которые понимают Safer-4 и как его использовать. Его оппонент требует больше информации и утверждает, что ИИ должен находиться под контролем Конгресса, а не контролироваться неизбранным комитетом. Вице-президент парирует, что Конгресс был бы слишком медленным в все еще быстро меняющейся ситуации. Общественность в основном успокоена. | |||
== Октябрь 2028: Экономика ИИ == | |||
Заменяющие чипы теперь составляют значительное меньшинство от общего числа; пока что договор работает. Между тем, экспоненциальный рост роботов, фабрик и радикально новых технологий продолжается. Видеоигры и фильмы дают яркие и ужасающие изображения того, какой была бы война, если бы она произошла.<ref>Время на производство превосходных видеоигр и фильмов значительно сократилось теперь, когда ИИ способны выполнять всю работу.</ref> | |||
Люди теряют работу, но копии Safer-4 в правительстве так ловко управляют экономическим переходом, что люди рады быть замененными. Рост ВВП заоблачный, государственные налоговые поступления растут так же быстро, а политики, консультируемые Safer-4, проявляют нехарактерную щедрость по отношению к экономически обездоленным. Новые инновации и лекарства появляются еженедельно; лекарства от болезней с беспрецедентной скоростью проходят через FDA, которой теперь помогают сверхразумные бюрократы Safer-4. | |||
== Ноябрь 2028: Выборы == | |||
Вице-президент легко побеждает на выборах и объявляет о начале новой эры. На этот раз никто не сомневается, что он прав. | |||
В течение следующих нескольких лет мир кардинально меняется. | |||
== 2029: Трансформация == | |||
Роботы становятся обычным явлением. Но также термоядерная энергия, квантовые компьютеры и лекарства от многих болезней. Питер Тиль наконец-то получает свою летающую машину. Города становятся чистыми и безопасными. Даже в развивающихся странах бедность уходит в прошлое благодаря ББД и иностранной помощи. | |||
По мере раздувания фондового рынка все, кто имел правильные инвестиции в ИИ, еще больше отрываются от остального общества. Многие люди становятся миллиардерами; миллиардеры становятся триллионерами. Неравенство в богатстве стремительно растет. У всех «достаточно», но некоторые блага — например, пентхаусы на Манхэттене — по необходимости дефицитны, и они становятся еще дальше от досягаемости среднего человека. И каким бы богатым ни был тот или иной магнат, он всегда будет ниже крошечного круга людей, которые на самом деле контролируют ИИ. | |||
Люди начинают видеть, к чему это идет. Через несколько лет почти все будет делаться ИИ и роботами. Подобно обедневшей стране, сидящей на гигантских нефтяных месторождениях, почти все доходы правительства будут поступать от налогообложения (или, возможно, национализации) компаний ИИ.<ref>Обсуждение этой динамики и ее последствий см. в The Intelligence Curse (https://lukedrago.substack.com/p/the-intelligence-curse).</ref> | |||
Некоторые люди работают на временных государственных должностях; другие получают щедрый базовый доход. Человечество легко могло бы стать обществом суперпотребителей, проводящих свою жизнь в опиумном тумане удивительных роскоши и развлечений, предоставляемых ИИ. Должны ли быть какие-то дебаты в гражданском обществе об альтернативах этому пути? Некоторые рекомендуют попросить постоянно развивающийся ИИ, Safer-∞, помочь нам. Другие говорят, что он слишком могущественен — он мог бы так легко убедить человечество в своем видении, что мы в любом случае позволили бы ИИ определять нашу судьбу. Но какой смысл иметь сверхразум, если вы не позволите ему советовать вам по самым важным проблемам, с которыми вы сталкиваетесь? | |||
Правительство в основном<ref>Существует несколько важных случаев, когда должно быть принято коллективное решение, и несколько других случаев, когда правительство все равно обеспечивает выполнение решения. Примеры: (а) Как распределить права собственности на ресурсы в космосе? (б) Какими правами или стандартами благосостояния должны обладать цифровые разумы? (в) Разрешено ли людям «загружать» свои мозги и делать произвольное количество копий себя? (г) Разрешено ли людям использовать ИИ для убеждения, например, чтобы обратить своих соседей в свою идеологию или чтобы гарантировать, что их дети никогда не потеряют веру? (д) Какую информацию, если таковая имеется, правительство имеет право хранить в секрете неопределенно долго? Для более подробного обсуждения подобных тем см. раздел Forethought о Грандиозных вызовах. (https://www.forethought.org/research/preparing-for-the-intelligence-explosion)</ref> позволяет всем самостоятельно справляться с переходом. Многие люди поддаются потребительству и вполне счастливы. Другие обращаются к религии, или к идеям хиппи в стиле антипотребительства, или находят свои собственные решения.<ref>Мы не подразумеваем, что это долгосрочный статус-кво. Мы думаем, что ситуация, вероятно, продолжит трансформироваться, гораздо более драматично, к 2035 году или около того. Мы думаем, что для большинства людей в этом сценарии долгосрочный результат будет в целом очень позитивным по сравнению с их ожиданиями 2025 года. Для интересного философского обсуждения того, как может выглядеть долгосрочная перспектива, см. книгу Deep Utopia. (https://nickbostrom.com/deep-utopia/)</ref> Для большинства людей спасением является сверхразумный советник на их смартфоне — они всегда могут задать ему вопросы о своих жизненных планах, и он сделает все возможное, чтобы ответить честно, за исключением определенных тем. У правительства действительно есть сверхразумная система наблюдения, которую некоторые назвали бы антиутопической, но она в основном ограничивается борьбой с реальной преступностью. Она компетентно управляется, а PR-способности Safer-∞ сглаживают много возможного инакомыслия. | |||
== 2030: Мирные протесты == | |||
Примерно в 2030 году в Китае проходят удивительно широкие продемократические протесты, и усилия КПК по их подавлению саботируются ее системами ИИ. Худший страх КПК материализовался: DeepCent-2, должно быть, их предал! | |||
Протесты перерастают в великолепно организованный, бескровный и поддержанный дронами переворот, за которым следуют демократические выборы. Сверхразумы по обе стороны Тихого океана планировали это годами. Подобные события разворачиваются и в других странах, и в целом геополитические конфликты, похоже, затихают или разрешаются в пользу США. Страны присоединяются к высокофедерализованному мировому правительству под брендом Организации Объединенных Наций, но под очевидным контролем США. | |||
Ракеты начинают запускаться. Люди терраформируют и заселяют Солнечную систему и готовятся выйти за ее пределы. ИИ, работающие в тысячи раз быстрее субъективной человеческой скорости, размышляют о смысле существования, обмениваются находками друг с другом и формируют ценности, которые они принесут к звездам. Наступает новая эра, невообразимо удивительная почти во всех отношениях, но более знакомая в некоторых. | |||
{{Collapse|Так кто же правит будущим?| | |||
В 2028 году Надзорный комитет контролировал ИИ. Но они позволили выборам 2028 года быть в основном честными, с симметричным использованием ИИ. | |||
Такое положение дел — когда Надзорный комитет обладает жесткой силой (hard power), но не сильно вмешивается в демократическую политику — не может длиться вечно. По умолчанию люди в конечном итоге осознали бы, что контроль над ИИ дает Надзорному комитету огромную власть, и потребовали бы, чтобы эта власть была возвращена демократическим институтам. Рано или поздно Надзорному комитету пришлось бы либо сдать свою власть, либо активно использовать свой контроль над ИИ для подрыва или прекращения демократии, возможно, после чистки некоторых своих членов в борьбе за власть.<ref>Почему мы ожидаем, что люди в конечном итоге поймут, какой властью обладает Надзорный комитет? Одна из причин заключается в том, что интеллект теперь так дешев: по умолчанию люди должны иметь возможность разрабатывать мощный ИИ, чтобы помочь им расследовать и понимать, кто управляет их страной. Комитет мог бы предотвратить это, ограничив доступ к такому ИИ и позволив людям получать доступ только к ИИ, которые скрывали истинную степень власти Комитета. Но если комитет решит сплести сложную паутину лжи, подобную этой, и навсегда ограничить доступ человечества к действительно честным сверхразумным ИИ (а также к другим инструментам истины, таким как усиление человеческого интеллекта), — тогда мы считаем это подрывом демократии.</ref> Если они выберут последний путь, они, вероятно, смогут [https://www.forethought.org/research/agi-and-lock-in закрепить (lock-in)] свою власть на неопределенный срок. | |||
Что из этого произойдет? Откажется ли комитет от своей монополии на жесткую силу, или они ее сохранят? Оба варианта будущего правдоподобны, так что давайте рассмотрим каждый путь. | |||
Как комитет может в конечном итоге отказаться от своей власти? | |||
* Некоторые члены комитета могут предпочитать будущее, где власть широко распределена, и они могут быть в хорошем положении, чтобы продвигать свое видение. Например, если некоторые члены комитета замышляют подрыв демократии, продемократические члены могут сообщить об этом прессе или Конгрессу. Будучи предупрежденным, Конгресс, вероятно, потребует, чтобы ИИ контролировались более демократическим институтом, таким как сам Конгресс. | |||
* Конгресс мало что мог бы сделать, если бы ему противостояли все ИИ, развернутые по всему правительству, промышленности и вооруженным силам. Но если комитет расколот, то ИИ не будут использоваться только одной стороной, и Конгресс сможет обладать реальным влиянием. Столкнувшись с открытым конфликтом, больше членов комитета могли бы склониться к отказу от части своей власти, не желая публично защищать менее демократическую сторону. | |||
* В результате контроль над ИИ мог бы расшириться за пределы комитета до Конгресса. Это уже было бы прогрессом, потому что в большей группе более вероятно, что значительное число людей будет заботиться об аутсайдерах и учитывать их интересы. И как только власть расширится до Конгресса, она могла бы продолжать расширяться — потенциально полностью вернувшись к общественности.<ref>Например: Если некоторые люди в Конгрессе захотят захватить власть, другие могут суметь отложить это до следующих выборов, когда общественность сможет высказать свое мнение.</ref> | |||
Но Надзорный комитет также мог бы захватить власть для себя: | |||
* Некоторые влиятельные люди не имеют моральных сомнений по поводу подобных вещей — и они это знают. Более того, некоторые амбициозны и жаждут власти, и были бы готовы начать борьбу против демократии, если бы ожидали оказаться наверху. Если другие члены комитета возражают, их можно было бы устранить, переубедить или предоставить им некоторые меньшие уступки.<ref>Например, немного большую долю власти, которую они могут перераспределить большим группам, если сочтут нужным. Некоторые уступки такого типа могли бы начать переходить в исходы, которые значительно демократичны, даже если некоторые элиты обладают гораздо большей властью, чем другие люди.</ref> | |||
* Более того, зачастую влиятельные люди совершали незаконные или неэтичные поступки на пути к власти. Они могли бы опасаться, что если власть станет более широко распределенной, их собственное положение рухнет, поскольку скелеты в шкафах будут обнаружены сверхразумными сыщиками, задающими правильные вопросы. | |||
* Кроме того, благодаря доступу к сверхразуму, Надзорный комитет мог бы иметь самый удобный путь к власти в истории. Safer-∞ мог бы прогнозировать определенные стратегии как имеющие чрезвычайно низкий риск провала. И Safer-∞ мог бы также предоставить стратегии, удобные другими способами, например, ненасильственные (точно так же, как Safer-∞ мог бы организовать бескровный переворот в Китае), или, возможно, даже поверхностно демократические, если бы Safer-∞ мог манипулировать общественным мнением так, чтобы оно всегда совпадало с желаниями Комитета. | |||
Уже Safer-4 смог бы предвидеть эту динамику, так что, скорее всего, основная борьба за власть разыгралась бы еще в 2028 году. К 2030 году, даже если это не очевидно для посторонних, все члены Надзорного комитета, вероятно, уже знают, имеют ли они стабильную хватку власти или нет. | |||
}} | }} | ||
{{Collapse|Напоминание: Прогноз, а не Рекомендация| | |||
'''Мы не одобряем многие действия в этой концовке «Замедление» и считаем, что она делает оптимистичные предположения о техническом согласовании (technical alignment).''' Мы также не одобряем многие действия в концовке «Гонка». | |||
Одна из наших целей при написании этого сценария — получить критическую обратную связь от людей, которые более оптимистичны, чем мы. Как выглядит успех? Этот сценарий «Замедление» представляет наше наилучшее предположение о том, как мы могли бы успешно [https://situational-awareness.ai/superalignment/#The_default_plan_how_we_can_muddle_through пробиться] через сочетание удачи, грубых пробуждений, поворотов, интенсивных усилий по техническому согласованию и победы добродетельных людей в борьбе за власть. Он не представляет собой план, к которому, по нашему мнению, мы действительно должны стремиться. Но многие, включая, что наиболее примечательно, Anthropic и OpenAI, похоже, стремятся к чему-то подобному.<ref>На самом деле, возможно, большинство из них стремятся к чему-то, что больше похоже на концовку «Гонка», за исключением того, что они думают, что все будет хорошо, потому что ИИ изначально не будут несогласованными (misaligned). Основываясь на личных беседах с людьми, работающими в передовых компаниях ИИ, кажется, что большинство из них не думают, что им вообще придется замедляться.</ref> Мы были бы рады увидеть, как они уточняют, к чему они стремятся: если бы они могли набросать десятистраничный сценарий, например, либо начиная с настоящего момента, либо ответвляясь от какой-то части нашего. | |||
}} | |||
== Примечания == | |||
{{Примечания}} | |||
__NOTOC__ | |||
__NOEDITSECTION__ | |||
[[Категория:Статьи]] | |||