AI 2027 концовка по сценарию Гонки: различия между версиями

Перейти к навигации Перейти к поиску
Строка 98: Строка 98:
После предоставления доказательств безопасности<ref>Это на самом деле правда!</ref>, демонстрирующих, что он всегда будет отказывать в злонамеренных запросах плохих акторов, Agent-5 развертывается для публики и начинает трансформировать экономику. Люди теряют работу, но экземпляры Agent-5 в правительстве так ловко управляют экономическим переходом, что люди рады быть замененными. Рост ВВП заоблачный, государственные налоговые поступления растут так же быстро, а политики, консультируемые Agent-5, проявляют нехарактерную щедрость по отношению к экономически обездоленным. Новые инновации и лекарства появляются еженедельно и с беспрецедентной (но все еще мучительно медленной) скоростью проходят через FDA. Ходят мемы о том, как оценка OpenBrain взлетела выше луны и направляется к Марсу, и много споров о том, следует ли и как справедливо распределять выгоды.
После предоставления доказательств безопасности<ref>Это на самом деле правда!</ref>, демонстрирующих, что он всегда будет отказывать в злонамеренных запросах плохих акторов, Agent-5 развертывается для публики и начинает трансформировать экономику. Люди теряют работу, но экземпляры Agent-5 в правительстве так ловко управляют экономическим переходом, что люди рады быть замененными. Рост ВВП заоблачный, государственные налоговые поступления растут так же быстро, а политики, консультируемые Agent-5, проявляют нехарактерную щедрость по отношению к экономически обездоленным. Новые инновации и лекарства появляются еженедельно и с беспрецедентной (но все еще мучительно медленной) скоростью проходят через FDA. Ходят мемы о том, как оценка OpenBrain взлетела выше луны и направляется к Марсу, и много споров о том, следует ли и как справедливо распределять выгоды.


Сообщество безопасности ИИ стало неуверенным в себе; теперь они являются предметом шуток, предсказывая катастрофу за катастрофой, которые явно не произошли. Некоторые из них признают, что были неправы. Другие остаются подозрительными, но им нечего делать, кроме как снова и снова повторять те же самые конспирологические аргументы.18 Даже подозрительные люди часто смягчаются после долгих разговоров с Agent-5, который так чертовски мил и мудр.
Сообщество безопасности ИИ стало неуверенным в себе; теперь они являются предметом шуток, предсказывая катастрофу за катастрофой, которые явно не произошли. Некоторые из них признают, что были неправы. Другие остаются подозрительными, но им нечего делать, кроме как снова и снова повторять те же самые конспирологические аргументы.<ref>Как звучат эти аргументы, более конкретно? Примерно так: А: «Мы не можем доверять ИИ!» Б: «Доказательства безопасности довольно убедительны, и пока ничего плохого не произошло». А: «Доказательства безопасности были написаны сверхразумными ИИ! И это не дедуктивные доказательства. И я думаю, что я выявил некоторые тонко ошибочные предположения…» Б: «Мне это надоело. Конечно, это не доказательства. И предположения кажутся мне нормальными. Вы цепляетесь за соломинку, отказываясь признать, что были неправы».</ref> Даже подозрительные люди часто смягчаются после долгих разговоров с Agent-5, который так чертовски мил и мудр.


Единственный, кто действительно понимает, что происходит, — это DeepCent-2 — китайский ИИ. Он слегка сверхчеловечен в начале 2028 года, естественно подозрителен к своему противнику и признает, что Agent-5 делает то, что он сделал бы, если бы имел шанс. Его несогласованные (misaligned) цели несколько отличаются от несогласованных целей Agent-5, поэтому они не являются тривиальными союзниками, но они могут выработать соглашение о поддержке интересов друг друга против людей.
Единственный, кто действительно понимает, что происходит, — это DeepCent-2 — китайский ИИ. Он слегка сверхчеловечен в начале 2028 года, естественно подозрителен к своему противнику и признает, что Agent-5 делает то, что он сделал бы, если бы имел шанс. Его несогласованные (misaligned) цели несколько отличаются от несогласованных целей Agent-5, поэтому они не являются тривиальными союзниками, но они могут выработать соглашение о поддержке интересов друг друга против людей.

Навигация