AI 2027 концовка по сценарию Замедления: различия между версиями

Строка 53: Строка 53:
Более подробный анализ этого риска скоро будет доступен в готовящемся отчете [https://www.forethought.org/ Forethought].
Более подробный анализ этого риска скоро будет доступен в готовящемся отчете [https://www.forethought.org/ Forethought].
}}
}}
До сих пор никто не решился нажать на курок. Некоторые из тех, кто в состоянии действовать, не являются социопатами. Другие являются социопатами, но беспокоятся, что их союзники струсят и предадут их, или беспокоятся, что ИИ могут их предать, и предпочли бы не обманывать команду согласования, которая в настоящее время работает над спасением их жизней. Кроме того, удаление нейрокода (neuralese) значительно усложняет маскировку «спящих агентов»: способность обнаруживать несогласованные мысли влечет за собой способность обнаруживать скрытую лояльность.
Те, кто достаточно параноидален или жаждет власти, чтобы серьезно рассматривать такой план, решают подождать и посмотреть, какие возможности представятся позже. Контроль над ИИ должен будет осуществляться по легитимным каналам, то есть через новую структуру власти OpenBrain.
Надзорный комитет формализует эту структуру власти. Они устанавливают процесс утверждения изменений в Спецификации, требующий подписи всего Надзорного комитета, который теперь включает от пяти до десяти руководителей технологических компаний (из OpenBrain и ее теперь объединенных конкурентов) и от пяти до десяти правительственных чиновников (включая Президента).<ref>Они также изменяют Спецификацию, чтобы указать, что приказы руководителей проекта имеют приоритет над приказами других людей в проекте. В то же время, приказы, формально одобренные Надзорным комитетом, имеют более высокий приоритет, чем приказы отдельных руководителей проекта.</ref> Кроме того, Спецификация теперь подчеркивает, что ИИ не должны помогать в любых неутвержденных попытках изменить цели будущих ИИ. Они также устанавливают простую меру, предназначенную для предотвращения получения членами комитета сверхразумной помощи в заговорах против других членов: логи всех взаимодействий с моделями доступны для просмотра всем членам Надзорного комитета, их персоналу и их ИИ-ассистентам.<ref>Для защиты конфиденциальности потребителей это не относится к потребительским данным. Но это не проблема, потому что у потребителей все равно пока нет доступа к самым мощным моделям.</ref>
== Декабрь 2027: Сделка США-Китай? ==