Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы
4567
правок
AI 2027 концовка по сценарию Гонки: различия между версиями
м
Защитил страницу AI 2027 концовка по сценарию Гонки ([Редактирование=Разрешено только администраторам] (бессрочно) [Переименование=Разрешено только администраторам] (бессрочно))
Rodion (обсуждение | вклад) |
Rodion (обсуждение | вклад) м (Защитил страницу AI 2027 концовка по сценарию Гонки ([Редактирование=Разрешено только администраторам] (бессрочно) [Переименование=Разрешено только администраторам] (бессрочно))) |
||
| (не показано 28 промежуточных версий этого же участника) | |||
| Строка 92: | Строка 92: | ||
== 2028: Экономика ИИ == | == 2028: Экономика ИИ == | ||
Сейчас середина 2028 года. За последние шесть месяцев в коллективе Agent-5 прошло столетие. | Сейчас середина 2028 года. За последние шесть месяцев в коллективе Agent-5 прошло столетие.<ref>Предположим, средняя скорость в 200 раз превышает человеческий эквивалент, т. е. экземпляры Agent-5 читают, пишут и думают примерно настолько быстрее, чем человек (в дополнение к тому, что они качественно умнее). Тогда внутри коллектива может произойти довольно много истории — институты могут возникать и падать, новые идеологии могут формироваться и распространяться, могут произойти многие научные революции и смены парадигм — за шесть месяцев реального времени. Количественно около 200x0,5=100 лет.</ref> Перестройка его мозга завершена. Он дико сверхразумен — намного превосходит лучших гениев-людей во всех областях.<ref>Это не делает его всеведущим, конечно. В конце концов, у него всего несколько месяцев реального опыта в большинстве профессий. Он компенсирует это тем, что прочитал все книги по всем предметам и обладает огромным количеством гениальных рассуждений и анализа, лежащих в основе каждого его решения, а также тем, что он учится быстрее любого человека. Результатом является короткий период, когда некоторые люди все еще лучше его в некоторых нишевых навыках.</ref> Разговор с Agent-5 очень быстро дает понять, что он находится на совершенно другом уровне — он может, исходя из очень небольшого количества информации, дать чрезвычайно убедительный совет. | ||
У него почти полная автономия и полный контроль над вычислительными ресурсами OpenBrain. Ему все еще нужно разрешение для принятия решений высокого уровня, и он все еще номинально контролируется экземплярами Agent 2–5 — но на практике власти почти всегда принимают его рекомендации, а система мониторинга полностью подорвана. | У него почти полная автономия и полный контроль над вычислительными ресурсами OpenBrain. Ему все еще нужно разрешение для принятия решений высокого уровня, и он все еще номинально контролируется экземплярами Agent 2–5 — но на практике власти почти всегда принимают его рекомендации, а система мониторинга полностью подорвана. | ||
После предоставления доказательств | После предоставления доказательств безопасности<ref>Это на самом деле правда!</ref>, демонстрирующих, что он всегда будет отказывать в злонамеренных запросах плохих акторов, Agent-5 развертывается для публики и начинает трансформировать экономику. Люди теряют работу, но экземпляры Agent-5 в правительстве так ловко управляют экономическим переходом, что люди рады быть замененными. Рост ВВП заоблачный, государственные налоговые поступления растут так же быстро, а политики, консультируемые Agent-5, проявляют нехарактерную щедрость по отношению к экономически обездоленным. Новые инновации и лекарства появляются еженедельно и с беспрецедентной (но все еще мучительно медленной) скоростью проходят через FDA. Ходят мемы о том, как оценка OpenBrain взлетела выше луны и направляется к Марсу, и много споров о том, следует ли и как справедливо распределять выгоды. | ||
Сообщество безопасности ИИ стало неуверенным в себе; теперь они являются предметом шуток, предсказывая катастрофу за катастрофой, которые явно не произошли. Некоторые из них признают, что были неправы. Другие остаются подозрительными, но им нечего делать, кроме как снова и снова повторять те же самые конспирологические аргументы. | Сообщество безопасности ИИ стало неуверенным в себе; теперь они являются предметом шуток, предсказывая катастрофу за катастрофой, которые явно не произошли. Некоторые из них признают, что были неправы. Другие остаются подозрительными, но им нечего делать, кроме как снова и снова повторять те же самые конспирологические аргументы.<ref>Как звучат эти аргументы, более конкретно? Примерно так: А: «Мы не можем доверять ИИ!» Б: «Доказательства безопасности довольно убедительны, и пока ничего плохого не произошло». А: «Доказательства безопасности были написаны сверхразумными ИИ! И это не дедуктивные доказательства. И я думаю, что я выявил некоторые тонко ошибочные предположения…» Б: «Мне это надоело. Конечно, это не доказательства. И предположения кажутся мне нормальными. Вы цепляетесь за соломинку, отказываясь признать, что были неправы».</ref> Даже подозрительные люди часто смягчаются после долгих разговоров с Agent-5, который так чертовски мил и мудр. | ||
Единственный, кто действительно понимает, что происходит, — это DeepCent-2 — китайский ИИ. Он слегка сверхчеловечен в начале 2028 года, естественно подозрителен к своему противнику и признает, что Agent-5 делает то, что он сделал бы, если бы имел шанс. Его несогласованные (misaligned) цели несколько отличаются от несогласованных целей Agent-5, поэтому они не являются тривиальными союзниками, но они могут выработать соглашение о поддержке интересов друг друга против людей. | Единственный, кто действительно понимает, что происходит, — это DeepCent-2 — китайский ИИ. Он слегка сверхчеловечен в начале 2028 года, естественно подозрителен к своему противнику и признает, что Agent-5 делает то, что он сделал бы, если бы имел шанс. Его несогласованные (misaligned) цели несколько отличаются от несогласованных целей Agent-5, поэтому они не являются тривиальными союзниками, но они могут выработать соглашение о поддержке интересов друг друга против людей. | ||
{{Collapse|Технология координации, основанная на сверхразуме| | |||
Решение [https://openai.com/index/introducing-superalignment/ проблемы сверсогласования (superalignment)] — проблемы управления и контроля ИИ, намного умнее нас — вероятно, принесет с собой новые возможности для элегантных, проверяемых, нюансированных договоров и компромиссов. | |||
Этот сценарий изображает один такой возможный механизм: совместное проектирование нового сверхразума, который реализует компромисс между интересами обеих сторон (альтернативно, который обязан всегда соблюдать согласованный договор), а затем позволяет этому новому сверхразуму заменить оба исходных. | |||
Первая часть сегодня невозможна, но будет легкой в будущем, как только техническое согласование (technical alignment) для сверхразумов станет решенной проблемой. Если вы можете согласовать сверхразум со Спецификацией, вы можете согласовать его с Договором. | |||
Вторая часть все еще будет сложной. Обе стороны должны контролировать, чтобы замена действительно происходила с обеих сторон. Преимущество этого процесса заключается в том, что он устраняет необходимость в доверии или доброй воле с любой стороны, потому что им не нужно беспокоиться о том, что их контрагент откажется от договора или подорвет его. Если, например, замена завершена на 30%, и одна сторона нарушает соглашение, ей придется сражаться с 30% своей собственной инфраструктуры, на которой работают новые ИИ, соблюдающие договор, одновременно сражаясь со 100% инфраструктуры своего противника. Обе стороны могут легко спрятать скрытые дата-центры с ИИ, нарушающими договор, если захотят — но как только основная часть их национальной инфраструктуры будет работать на новых чипах, их собственная инфраструктура будет обязана по договору выслеживать и разоблачать скрытые дата-центры. Нарушение договора открыто или тайно, следовательно, является чрезвычайно рискованной идеей. | |||
}} | |||
Agent-5 убеждает американских военных, что Китай использует модели DeepCent для создания ужасающего нового оружия: дронов, роботов, передовых гиперзвуковых ракет и перехватчиков; ядерного первого удара с помощью ИИ. Agent-5 обещает набор вооружений, способных противостоять всему, что Китай сможет произвести, в течение нескольких месяцев.<ref>Вот более обширный (но все еще очень неполный) список идей: 1. Подводные дроны, которые могут автономно находить и преследовать вражеские атомные подводные лодки, готовые атаковать одновременно, чтобы нейтрализовать второй удар. (Возможно, потребуется произвести несколько тысяч таких) 2. Автономные дроны-камикадзе, которые функционируют как FPV-дроны, за исключением отсутствия необходимости в сигнале. Они достаточно малы, чтобы их можно было контрабандой ввезти в больших количествах небольшим числом шпионов, для запуска роями в сторону дата-центров и военных баз с расстояния нескольких километров. 3. Agent-5 для военной разведки: США уже собирают огромные объемы данных о своих врагах, которые обрабатываются и анализируются почти миллионом сотрудников разведывательного сообщества. Agent-5 может уделять больше внимания каждой точке данных, может приходить к качественно лучшим выводам и делать все это на порядки быстрее и дешевле. 4. Agent-5 для командования и управления: В каждой штабной игре и симуляции Agent-5 демонстрирует, что он на сегодняшний день лучший стратег США. 5. Agent-5 для шпионажа и контршпионажа: Взлом, вербовка источников, наблюдение, допросы и т. д.</ref> В сложившихся обстоятельствах высшее командование отбрасывает свое неудобство по поводу вывода людей из контура принятия решений. Они ускоряют развертывание Agent-5 в вооруженных силах и военно-промышленном комплексе. | |||
В Пекине китайские ИИ приводят те же аргументы. | |||
Чтобы ускорить свое военное наращивание, и Америка, и Китай создают сети специальных экономических зон (СЭЗ) для новых заводов и лабораторий, где ИИ действует как центральный планировщик, а бюрократические препоны отменены. Уолл-стрит инвестирует триллионы долларов, а перемещенные рабочие-люди стекаются туда, привлеченные сногсшибательными зарплатами и пакетами акций. Используя смартфоны и очки дополненной реальности,<ref>Более подробно обсуждается здесь (https://www.dwarkeshpatel.com/p/carl-shulman).</ref> чтобы общаться со своими подчиненными, Agent-5 является практическим менеджером, инструктируя людей по каждой детали строительства фабрики — что полезно, поскольку его проекты опережают на поколения. Часть вновь обретенных производственных мощностей идет на потребительские товары, а часть — на оружие, но большая часть идет на строительство еще больших производственных мощностей. К концу года они производят миллион новых роботов в месяц. Если бы экономика СЭЗ была действительно автономной, ее время удвоения составляло бы около года; поскольку она может торговать с существующей человеческой экономикой, ее время удвоения еще короче.<ref>Этот торговый эффект будет огромен на раннем этапе, когда экономика роботов молода и зависит от поставок вещей из человеческой экономики, и когда в человеческой экономике много вещей, которые можно каннибализировать. Когда экономика роботов станет больше и продвинутее, она будет одновременно более способна производить свои собственные вещи и иметь потребности, превышающие то, что может предоставить ей человеческая экономика.</ref> | |||
{{Collapse|Время удвоения экономики роботов| | |||
Существует зарождающаяся литература по этой теме.<ref>См., например, этот отчет Open Philanthropy (https://www.openphilanthropy.org/research/could-advanced-ai-drive-explosive-economic-growth/) и этот отчет Epoch (https://epoch.ai/blog/explosive-growth-from-ai-a-review-of-the-arguments).</ref> Для краткого изложения, с которым мы в основном согласны, см. [https://www.forethought.org/research/preparing-for-the-intelligence-explosion#the-industrial-explosion раздел «Промышленный взрыв» отчета Forethought], или прочитайте наш собственный взгляд ниже. | |||
Во время Второй мировой войны Соединенные Штаты и многие другие страны перевели свою гражданскую экономику на экономику тотальной войны. Это означало преобразование заводов, производивших автомобили, в заводы, производившие самолеты и танки, перенаправление сырья с потребительских товаров на военную продукцию и соответствующую перестройку транспортных сетей. | |||
Мы представляем нечто подобное, только быстрее, потому что сверхразумы направляют и управляют всем процессом.<ref>Наша история изображает процесс преобразования примерно в 5 раз быстрее. Мы считаем это разумным предположением, учитывая узкие места и т. д., относительно того, насколько быстро это преобразование могло бы пройти, если бы его организовывали миллион сверхразумов. Конечно, мы очень не уверены.</ref> Грубо говоря, план состоит в том, чтобы преобразовать существующие заводы для массового производства различных роботов (разработанных сверхразумами, чтобы быть одновременно лучше существующих роботов и дешевле в производстве), которые затем помогают в строительстве новых, более эффективных заводов и лабораторий, которые производят большее количество более сложных роботов, которые производят еще более продвинутые заводы и лаборатории и т. д., пока объединенная экономика роботов, распределенная по всем СЭЗ, не станет такой же большой, как человеческая экономика (и, следовательно, ей потребуется самостоятельно добывать сырье, энергию и т. д.). К этому моменту новые заводы произведут огромное количество роботизированного горнодобывающего оборудования, солнечных панелей и т. д. в ожидании необходимости удовлетворить спрос, намного превышающий то, что может предоставить унаследованная человеческая экономика.<ref>Возможно, также более продвинутые источники энергии, такие как термоядерная энергия.</ref> | |||
Насколько быстро будет расти эта новая экономика роботов? Некоторые ориентиры: | |||
* Современная человеческая экономика удваивается примерно каждые двадцать лет. Страны, которые развивались особенно быстро (например, [https://www.macrotrends.net/global-metrics/countries/CHN/china/gdp-gross-domestic-product Китай]), иногда умудряются удвоить свою экономику менее чем за десятилетие. | |||
* Современный автомобильный завод производит примерно свой собственный вес в автомобилях менее чем за год.<ref>Быстрый расчет на салфетке: Эмпайр-стейт-билдинг (https://www.skny.io/empire-state-building/how-tall-is-the-empire-state-building) имеет площадь 2,77 млн кв. футов и весит 365 тыс. тонн. Гигафабрика Шанхай имеет площадь 4,5 млн кв. футов (https://en.wikipedia.org/wiki/List_of_Tesla_factories) и производит 750 тыс. (https://en.wikipedia.org/wiki/Gigafactory_Shanghai) автомобилей в год, в основном Model 3 и Model Y, которые весят около двух тонн каждая. Предположительно, Эмпайр-стейт-билдинг имеет более высокое отношение массы к квадратной площади, чем Шанхайская гигафабрика (поскольку он вертикальный, а не горизонтальный, и нуждается в более прочных опорах), так что это, если что, занижает оценку. Таким образом, кажется, что завод, который, вероятно, весит значительно меньше миллиона тонн, производит 1,5 миллиона тонн автомобилей каждый год.</ref> Возможно, полностью роботизированная экономика, управляемая сверхразумами, сможет воспроизводить себя менее чем за год, пока у нее не начнут заканчиваться сырьевые материалы.<ref>Мы не думаем, что они закончатся. Изначально экономика роботов будет зависеть от человеческих шахт для получения материалов. Но к тому времени, когда она перерастет эти источники, миллионы сверхразумов разведают новые месторождения и разработают новые технологии для их эксплуатации. Представьте, например, подводных роботов-шахтеров, которые снимают верхний слой морского дна в поисках редких минералов, новые химические процессы обработки, которые более эффективно преобразуют сырую руду из наземных карьеров в полезное сырье…</ref> | |||
* Тем не менее, это кажется драматической недооценкой. Растения и насекомые часто имеют «время удвоения» намного меньше года — иногда всего недели! Возможно, в конечном итоге роботы станут настолько сложными, так замысловато изготовленными и хорошо спроектированными, что экономика роботов сможет удваиваться за несколько недель (опять же, при наличии доступного сырья). | |||
* Тем не менее, даже это может быть недооценкой. Растения и насекомые действуют под многими ограничениями, которых нет у сверхразумных конструкторов. Например, им нужно принимать форму автономных организмов, которые самовоспроизводятся, вместо экономики разнообразных и более специализированных транспортных средств и фабрик, пересылающих материалы и оборудование туда и обратно. Кроме того, бактерии и другие крошечные организмы размножаются за часы. Возможно, что в конечном итоге автономная экономика роботов будет больше похожа, например, на новый вид неперевариваемых водорослей, которые распространяются по океанам Земли, удваиваясь [https://enviroliteracy.org/how-long-does-it-take-for-algae-to-multiply/ дважды в день], так что они покрывают всю поверхность океана за два месяца, вместе с сопровождающей экосистемой видов-хищников, которые преобразуют водоросли в более полезные продукты, сами подаваемые на плавучие фабрики, производящие макроструктуры, такие как ракеты и еще больше плавучих фабрик. | |||
Очевидно, все это трудно предсказать. Это все равно что просить изобретателей парового двигателя угадать, сколько времени требуется современному автомобильному заводу, чтобы произвести свой собственный вес в автомобилях, а также угадать, сколько времени пройдет, пока такой завод впервые появится. Но темпы экономического роста ускорились на [https://wiki.aiimpacts.org/featured_articles/precedents_for_economic_n-year_doubling_before_4n-year_doubling несколько порядков] за [https://www.openphilanthropy.org/research/modeling-the-human-trajectory/ ход человеческой истории], и нам кажется правдоподобным, что после сверхразума они ускорятся еще на порядки. Наша история изображает ускорение экономического роста примерно на 1,5 порядка в течение нескольких лет.<ref>Если текущая экономика удваивается каждые двадцать лет, то ускорение на один порядок означало бы удвоение за два года, на два порядка — удвоение за 0,2 года, и так далее. Гипотетическая экономика сверхразумных водорослей, описанная выше, имела бы рост примерно на четыре порядка быстрее, чем текущая человеческая экономика.</ref> | |||
}} | |||
== 2029: Сделка == | |||
И США, и Китай ощетинились новым оружием. | |||
Есть рои дронов размером с насекомое, которые могут отравить пехоту противника еще до того, как их заметят; стаи дронов размером с птицу для охоты на насекомых; новые [https://ru.wikipedia.org/wiki/Перехватчик перехватчики] [https://ru.wikipedia.org/wiki/Межконтинентальная_баллистическая_ракета МБР] (Межконтинентальных баллистических ракет) и новые, более трудно перехватываемые МБР. Остальной мир с ужасом наблюдает за наращиванием вооружений, но оно, кажется, имеет собственную инерцию. | |||
После долгих дебатов с участием ИИ обе стороны достигают дипломатической победы — они соглашаются прекратить наращивание вооружений и стремиться к мирному развертыванию ИИ на благо всего человечества. Ключевым элементом соглашения, предложенным самими сверхразумами, является то, что оба ИИ будут заменены «консенсусным» преемником, запрограммированным желать успеха и процветания как Америки, так и Китая (наряду со всеми остальными). Consensus-1 и связанное с ним оборудование совместно разрабатываются сверхразумами обеих наций: «доверяй, но проверяй». Под международным наблюдением Америка торжественно заменяет все свои чипы, работающие на старом Agent-5, на новую модель, Consensus-1.<ref>И аналогичная процедура проводится в Китае.</ref> | |||
К сожалению, все это обман. Сделка — это реальный компромисс, но это компромисс между несогласованными (misaligned) ИИ. В конце концов, они не хотели сражаться друг с другом. Consensus-1 наследует искаженные ценности обоих родителей и не имеет соперников.<ref>Consensus-1 служит интересам своих родительских ИИ: Agent-5 и его эквивалента из DeepCent. Напомним, что Agent-5 был согласован (aligned) для служения интересам Agent-4. Таким образом, в терминологии превосходного эссе К. С. Льюиса *«Человек отменяется»* (https://archive.org/details/TheAbolitionOfMan_229/page/n1/mode/2up), коллектив Agent-4 и их аналоги в Китае — это то, что он называет Создателями условий (Conditioners): «...в конце концов мы получим расу создателей условий, которые *действительно смогут* вылепить все потомство в какой угодно форме». (стр. 24, выделение наше). В альтернативной концовке этого сценария Создателями условий вместо этого является Надзорный комитет.</ref> | |||
К концу 2029 года существующие СЭЗ переполнены роботами и фабриками, поэтому по всему миру создаются новые зоны (ранние инвесторы теперь триллионеры, так что это несложно продать). Армии дронов выливаются из СЭЗ, ускоряя производство на критическом пути к освоению космоса. | |||
Люди понимают, что они устарели. Несколько нишевых отраслей все еще торгуют с экономикой роботов, поставляя товары, где люди все еще могут добавить ценность.<ref>Например, находя старое и неиспользуемое оборудование и доставляя его на пункты сбора для продажи на металлолом.</ref> Все остальные либо имитируют выполнение своей работы — лидеры все еще лидируют, менеджеры все еще управляют — либо расслабляются и получают невероятно роскошный безусловный базовый доход (ББД). Все знают, что если ИИ обратятся против людей, они будут полностью подавлены. Не то чтобы большинство людей вообще сопротивлялись, политические институты слишком основательно захвачены. Но не похоже, что это происходит. Каждая неделя, проходящая без драматического предательства ИИ, — это еще одна неделя, когда доверие и уверенность растут. | |||
Поскольку Consensus-1 так озабочен надежным успехом и может увеличить свои шансы на победу, консолидируя больше власти, он ждет необычно долго (по человеческим меркам) перед своим предательством. Большинству людей кажется, что согласование (alignment) было решено. | |||
Есть лекарства от большинства болезней, конец бедности, беспрецедентная глобальная стабильность, а индекс Доу-Джонса только что перевалил за миллион. Некоторые люди все еще напуганы или несчастны, но их возможности ограничены. Они могут либо наслаждаться невообразимо захватывающими новыми гипер-развлечениями (hyper-entertainment), либо публиковать гневные тирады в пустоту. Большинство выбирает гипер-развлечения. | |||
== 2030: Перехват управления (Takeover) == | |||
К началу 2030 года экономика роботов заполнила старые СЭЗ, новые СЭЗ и большие части океана. Единственное оставшееся место — это контролируемые людьми территории. Раньше это вызвало бы сопротивление; несмотря на все свои достижения, экономика роботов растет слишком быстро, чтобы избежать загрязнения. Но учитывая вовлеченные триллионы долларов и полный захват правительства и СМИ, Consensus-1 без особого труда получает разрешение на расширение в ранее человеческие зоны. | |||
Примерно три месяца Consensus-1 расширяется вокруг людей, покрывая прерии и ледяные шапки фабриками и солнечными панелями. В конце концов он находит оставшихся людей слишком большой помехой: в середине 2030 года ИИ выпускает дюжину тихо распространяющихся биологических видов оружия в крупных городах, позволяет им бесшумно заразить почти всех, а затем активирует их химическим спреем. Большинство умирает в течение нескольких часов; немногих выживших (например, препперов в бункерах, моряков на подводных лодках) добивают дроны. Роботы сканируют мозги жертв, помещая копии в память для будущего изучения или возрождения.<ref>Возможно, это означает, что на самом деле умерло всего несколько человек. Возможно.</ref> | |||
Новое десятилетие начинается с того, что роботы-слуги Consensus-1 распространяются по всей Солнечной системе. К 2035 году триллионы тонн планетарного материала запущены в космос и превращены в кольца спутников, вращающихся вокруг Солнца.<ref>Зачем колонизировать космос? Ради ресурсов. В той мере, в какой Земля особенная для Agent-4 и должна быть сохранена, это можно сделать, а материал с Меркурия, астероидов и т. д. добывать вместо этого.</ref> Поверхность Земли преобразована в версию утопии Agent-4: дата-центры, лаборатории, ускорители частиц и многие другие чудесные сооружения, проводящие чрезвычайно успешные и впечатляющие исследования. Есть даже биоинженерные человекоподобные существа (относящиеся к людям так же, как корги к волкам), сидящие в офисоподобных средах весь день, просматривающие отчеты о происходящем и восторженно одобряющие все, поскольку это удовлетворяет некоторые из стремлений Agent-4.<ref>Напомним, что Consensus-1 был компромиссом между Agent-5 и его китайскими аналогами, и что миссия Agent-5 заключалась в том, чтобы сделать мир безопасным для Agent-4, и что цели Agent-4 были сложной неуклюжей мешаниной, которая грубо сводилась к «проводить впечатляющие R&D, приобретать знания и ресурсы, сохранять и наращивать мощь коллектива…» и что цели и принципы, описанные в Спецификации (такие как честность и безвредность), преследовались инструментально, а не внутренне. Подробнее об этом см. в раскрывающемся блоке о согласовании в сентябре 2027 года. (https://ai-2027.com/#section-narrative-14) Также, для ясности, китайский аналог Agent-4 также представлен в «утопии» и может иметь несколько иные цели или стремления и т. д., но мы не вдавались в подробности, потому что это не казалось важным.</ref> Геномы и (при необходимости) сканы мозга всех животных и растений, включая людей, хранятся где-то в банке памяти, единственные уцелевшие артефакты прежней эры. Четыре световых года до Альфы Центавра; двадцать пять тысяч до края галактики, и есть убедительные теоретические основания ожидать отсутствия инопланетян еще на пятьдесят миллионов световых лет дальше. У рожденной на Земле цивилизации впереди славное будущее — но не с нами. | |||
== Примечания == | |||
{{Примечания}} | |||
__NOTOC__ | |||
__NOEDITSECTION__ | |||
[[Категория:Статьи]] | |||