AI 2027 концовка по сценарию Гонки: различия между версиями

Перейти к навигации Перейти к поиску
Строка 91: Строка 91:


== 2028: Экономика ИИ ==
== 2028: Экономика ИИ ==
Сейчас середина 2028 года. За последние шесть месяцев в коллективе Agent-5 прошло столетие.15 Перестройка его мозга завершена. Он дико сверхразумен — намного превосходит лучших гениев-людей во всех областях.16 Разговор с Agent-5 очень быстро дает понять, что он находится на совершенно другом уровне — он может, исходя из очень небольшого количества информации, дать чрезвычайно убедительный совет.
У него почти полная автономия и полный контроль над вычислительными ресурсами OpenBrain. Ему все еще нужно разрешение для принятия решений высокого уровня, и он все еще номинально контролируется экземплярами Agent 2–5 — но на практике власти почти всегда принимают его рекомендации, а система мониторинга полностью подорвана.
После предоставления доказательств безопасности17, демонстрирующих, что он всегда будет отказывать в злонамеренных запросах плохих акторов, Agent-5 развертывается для публики и начинает трансформировать экономику. Люди теряют работу, но экземпляры Agent-5 в правительстве так ловко управляют экономическим переходом, что люди рады быть замененными. Рост ВВП заоблачный, государственные налоговые поступления растут так же быстро, а политики, консультируемые Agent-5, проявляют нехарактерную щедрость по отношению к экономически обездоленным. Новые инновации и лекарства появляются еженедельно и с беспрецедентной (но все еще мучительно медленной) скоростью проходят через FDA. Ходят мемы о том, как оценка OpenBrain взлетела выше луны и направляется к Марсу, и много споров о том, следует ли и как справедливо распределять выгоды.
Сообщество безопасности ИИ стало неуверенным в себе; теперь они являются предметом шуток, предсказывая катастрофу за катастрофой, которые явно не произошли. Некоторые из них признают, что были неправы. Другие остаются подозрительными, но им нечего делать, кроме как снова и снова повторять те же самые конспирологические аргументы.18 Даже подозрительные люди часто смягчаются после долгих разговоров с Agent-5, который так чертовски мил и мудр.
Единственный, кто действительно понимает, что происходит, — это DeepCent-2 — китайский ИИ. Он слегка сверхчеловечен в начале 2028 года, естественно подозрителен к своему противнику и признает, что Agent-5 делает то, что он сделал бы, если бы имел шанс. Его несогласованные (misaligned) цели несколько отличаются от несогласованных целей Agent-5, поэтому они не являются тривиальными союзниками, но они могут выработать соглашение о поддержке интересов друг друга против людей.

Навигация