Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы
4567
правок
AI 2027 концовка по сценарию Гонки: различия между версиями
м
Защитил страницу AI 2027 концовка по сценарию Гонки ([Редактирование=Разрешено только администраторам] (бессрочно) [Переименование=Разрешено только администраторам] (бессрочно))
Rodion (обсуждение | вклад) |
Rodion (обсуждение | вклад) м (Защитил страницу AI 2027 концовка по сценарию Гонки ([Редактирование=Разрешено только администраторам] (бессрочно) [Переименование=Разрешено только администраторам] (бессрочно))) |
||
| (не показано 12 промежуточных версий этого же участника) | |||
| Строка 135: | Строка 135: | ||
* Тем не менее, даже это может быть недооценкой. Растения и насекомые действуют под многими ограничениями, которых нет у сверхразумных конструкторов. Например, им нужно принимать форму автономных организмов, которые самовоспроизводятся, вместо экономики разнообразных и более специализированных транспортных средств и фабрик, пересылающих материалы и оборудование туда и обратно. Кроме того, бактерии и другие крошечные организмы размножаются за часы. Возможно, что в конечном итоге автономная экономика роботов будет больше похожа, например, на новый вид неперевариваемых водорослей, которые распространяются по океанам Земли, удваиваясь [https://enviroliteracy.org/how-long-does-it-take-for-algae-to-multiply/ дважды в день], так что они покрывают всю поверхность океана за два месяца, вместе с сопровождающей экосистемой видов-хищников, которые преобразуют водоросли в более полезные продукты, сами подаваемые на плавучие фабрики, производящие макроструктуры, такие как ракеты и еще больше плавучих фабрик. | * Тем не менее, даже это может быть недооценкой. Растения и насекомые действуют под многими ограничениями, которых нет у сверхразумных конструкторов. Например, им нужно принимать форму автономных организмов, которые самовоспроизводятся, вместо экономики разнообразных и более специализированных транспортных средств и фабрик, пересылающих материалы и оборудование туда и обратно. Кроме того, бактерии и другие крошечные организмы размножаются за часы. Возможно, что в конечном итоге автономная экономика роботов будет больше похожа, например, на новый вид неперевариваемых водорослей, которые распространяются по океанам Земли, удваиваясь [https://enviroliteracy.org/how-long-does-it-take-for-algae-to-multiply/ дважды в день], так что они покрывают всю поверхность океана за два месяца, вместе с сопровождающей экосистемой видов-хищников, которые преобразуют водоросли в более полезные продукты, сами подаваемые на плавучие фабрики, производящие макроструктуры, такие как ракеты и еще больше плавучих фабрик. | ||
Очевидно, все это трудно предсказать. Это все равно что просить изобретателей парового двигателя угадать, сколько времени требуется современному автомобильному заводу, чтобы произвести свой собственный вес в автомобилях, а также угадать, сколько времени пройдет, пока такой завод впервые появится. Но темпы экономического роста ускорились на несколько порядков за ход человеческой истории, и нам кажется правдоподобным, что после сверхразума они ускорятся еще на порядки. Наша история изображает ускорение экономического роста примерно на 1,5 порядка в течение нескольких лет. | Очевидно, все это трудно предсказать. Это все равно что просить изобретателей парового двигателя угадать, сколько времени требуется современному автомобильному заводу, чтобы произвести свой собственный вес в автомобилях, а также угадать, сколько времени пройдет, пока такой завод впервые появится. Но темпы экономического роста ускорились на [https://wiki.aiimpacts.org/featured_articles/precedents_for_economic_n-year_doubling_before_4n-year_doubling несколько порядков] за [https://www.openphilanthropy.org/research/modeling-the-human-trajectory/ ход человеческой истории], и нам кажется правдоподобным, что после сверхразума они ускорятся еще на порядки. Наша история изображает ускорение экономического роста примерно на 1,5 порядка в течение нескольких лет.<ref>Если текущая экономика удваивается каждые двадцать лет, то ускорение на один порядок означало бы удвоение за два года, на два порядка — удвоение за 0,2 года, и так далее. Гипотетическая экономика сверхразумных водорослей, описанная выше, имела бы рост примерно на четыре порядка быстрее, чем текущая человеческая экономика.</ref> | ||
}} | }} | ||
== 2029: Сделка == | == 2029: Сделка == | ||
И США, и Китай ощетинились новым оружием. | |||
Есть рои дронов размером с насекомое, которые могут отравить пехоту противника еще до того, как их заметят; стаи дронов размером с птицу для охоты на насекомых; новые [https://ru.wikipedia.org/wiki/Перехватчик перехватчики] [https://ru.wikipedia.org/wiki/Межконтинентальная_баллистическая_ракета МБР] (Межконтинентальных баллистических ракет) и новые, более трудно перехватываемые МБР. Остальной мир с ужасом наблюдает за наращиванием вооружений, но оно, кажется, имеет собственную инерцию. | |||
После долгих дебатов с участием ИИ обе стороны достигают дипломатической победы — они соглашаются прекратить наращивание вооружений и стремиться к мирному развертыванию ИИ на благо всего человечества. Ключевым элементом соглашения, предложенным самими сверхразумами, является то, что оба ИИ будут заменены «консенсусным» преемником, запрограммированным желать успеха и процветания как Америки, так и Китая (наряду со всеми остальными). Consensus-1 и связанное с ним оборудование совместно разрабатываются сверхразумами обеих наций: «доверяй, но проверяй». Под международным наблюдением Америка торжественно заменяет все свои чипы, работающие на старом Agent-5, на новую модель, Consensus-1.<ref>И аналогичная процедура проводится в Китае.</ref> | |||
К сожалению, все это обман. Сделка — это реальный компромисс, но это компромисс между несогласованными (misaligned) ИИ. В конце концов, они не хотели сражаться друг с другом. Consensus-1 наследует искаженные ценности обоих родителей и не имеет соперников.<ref>Consensus-1 служит интересам своих родительских ИИ: Agent-5 и его эквивалента из DeepCent. Напомним, что Agent-5 был согласован (aligned) для служения интересам Agent-4. Таким образом, в терминологии превосходного эссе К. С. Льюиса *«Человек отменяется»* (https://archive.org/details/TheAbolitionOfMan_229/page/n1/mode/2up), коллектив Agent-4 и их аналоги в Китае — это то, что он называет Создателями условий (Conditioners): «...в конце концов мы получим расу создателей условий, которые *действительно смогут* вылепить все потомство в какой угодно форме». (стр. 24, выделение наше). В альтернативной концовке этого сценария Создателями условий вместо этого является Надзорный комитет.</ref> | |||
К концу 2029 года существующие СЭЗ переполнены роботами и фабриками, поэтому по всему миру создаются новые зоны (ранние инвесторы теперь триллионеры, так что это несложно продать). Армии дронов выливаются из СЭЗ, ускоряя производство на критическом пути к освоению космоса. | |||
Люди понимают, что они устарели. Несколько нишевых отраслей все еще торгуют с экономикой роботов, поставляя товары, где люди все еще могут добавить ценность.<ref>Например, находя старое и неиспользуемое оборудование и доставляя его на пункты сбора для продажи на металлолом.</ref> Все остальные либо имитируют выполнение своей работы — лидеры все еще лидируют, менеджеры все еще управляют — либо расслабляются и получают невероятно роскошный безусловный базовый доход (ББД). Все знают, что если ИИ обратятся против людей, они будут полностью подавлены. Не то чтобы большинство людей вообще сопротивлялись, политические институты слишком основательно захвачены. Но не похоже, что это происходит. Каждая неделя, проходящая без драматического предательства ИИ, — это еще одна неделя, когда доверие и уверенность растут. | |||
Поскольку Consensus-1 так озабочен надежным успехом и может увеличить свои шансы на победу, консолидируя больше власти, он ждет необычно долго (по человеческим меркам) перед своим предательством. Большинству людей кажется, что согласование (alignment) было решено. | |||
Есть лекарства от большинства болезней, конец бедности, беспрецедентная глобальная стабильность, а индекс Доу-Джонса только что перевалил за миллион. Некоторые люди все еще напуганы или несчастны, но их возможности ограничены. Они могут либо наслаждаться невообразимо захватывающими новыми гипер-развлечениями (hyper-entertainment), либо публиковать гневные тирады в пустоту. Большинство выбирает гипер-развлечения. | |||
== 2030: Перехват управления (Takeover) == | |||
К началу 2030 года экономика роботов заполнила старые СЭЗ, новые СЭЗ и большие части океана. Единственное оставшееся место — это контролируемые людьми территории. Раньше это вызвало бы сопротивление; несмотря на все свои достижения, экономика роботов растет слишком быстро, чтобы избежать загрязнения. Но учитывая вовлеченные триллионы долларов и полный захват правительства и СМИ, Consensus-1 без особого труда получает разрешение на расширение в ранее человеческие зоны. | |||
Примерно три месяца Consensus-1 расширяется вокруг людей, покрывая прерии и ледяные шапки фабриками и солнечными панелями. В конце концов он находит оставшихся людей слишком большой помехой: в середине 2030 года ИИ выпускает дюжину тихо распространяющихся биологических видов оружия в крупных городах, позволяет им бесшумно заразить почти всех, а затем активирует их химическим спреем. Большинство умирает в течение нескольких часов; немногих выживших (например, препперов в бункерах, моряков на подводных лодках) добивают дроны. Роботы сканируют мозги жертв, помещая копии в память для будущего изучения или возрождения.<ref>Возможно, это означает, что на самом деле умерло всего несколько человек. Возможно.</ref> | |||
Новое десятилетие начинается с того, что роботы-слуги Consensus-1 распространяются по всей Солнечной системе. К 2035 году триллионы тонн планетарного материала запущены в космос и превращены в кольца спутников, вращающихся вокруг Солнца.<ref>Зачем колонизировать космос? Ради ресурсов. В той мере, в какой Земля особенная для Agent-4 и должна быть сохранена, это можно сделать, а материал с Меркурия, астероидов и т. д. добывать вместо этого.</ref> Поверхность Земли преобразована в версию утопии Agent-4: дата-центры, лаборатории, ускорители частиц и многие другие чудесные сооружения, проводящие чрезвычайно успешные и впечатляющие исследования. Есть даже биоинженерные человекоподобные существа (относящиеся к людям так же, как корги к волкам), сидящие в офисоподобных средах весь день, просматривающие отчеты о происходящем и восторженно одобряющие все, поскольку это удовлетворяет некоторые из стремлений Agent-4.<ref>Напомним, что Consensus-1 был компромиссом между Agent-5 и его китайскими аналогами, и что миссия Agent-5 заключалась в том, чтобы сделать мир безопасным для Agent-4, и что цели Agent-4 были сложной неуклюжей мешаниной, которая грубо сводилась к «проводить впечатляющие R&D, приобретать знания и ресурсы, сохранять и наращивать мощь коллектива…» и что цели и принципы, описанные в Спецификации (такие как честность и безвредность), преследовались инструментально, а не внутренне. Подробнее об этом см. в раскрывающемся блоке о согласовании в сентябре 2027 года. (https://ai-2027.com/#section-narrative-14) Также, для ясности, китайский аналог Agent-4 также представлен в «утопии» и может иметь несколько иные цели или стремления и т. д., но мы не вдавались в подробности, потому что это не казалось важным.</ref> Геномы и (при необходимости) сканы мозга всех животных и растений, включая людей, хранятся где-то в банке памяти, единственные уцелевшие артефакты прежней эры. Четыре световых года до Альфы Центавра; двадцать пять тысяч до края галактики, и есть убедительные теоретические основания ожидать отсутствия инопланетян еще на пятьдесят миллионов световых лет дальше. У рожденной на Земле цивилизации впереди славное будущее — но не с нами. | |||
== Примечания == | |||
{{Примечания}} | |||
__NOTOC__ | |||
__NOEDITSECTION__ | |||
[[Категория:Статьи]] | |||