AI 2027 концовка по сценарию Замедления: различия между версиями

AI 2027 концовка по сценарию Замедления (посмотреть исходный код)

Версия от 14:35, 12 мая 2025

3057 байт добавлено , 12 мая 2025

→‎Апрель 2028: Safer-4

Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы

4570

правок

@@ Строка 186: / Строка 186: @@
 == Апрель 2028: Safer-4 ==
+Сверхразум здесь.
+Safer-1 был несогласован (misaligned), но прозрачен. Safer-2 был согласован (aligned) и прозрачен. Safer-3 не был точно прозрачен, но [https://arxiv.org/abs/2403.10462 обоснование безопасности] для него было достаточно хорошим, чтобы исследователи чувствовали себя комфортно, позволяя ему проектировать сверхразумного преемника. Это Safer-4. Он значительно умнее лучших людей во всех областях (например, намного лучше Эйнштейна в физике и намного лучше Бисмарка в политике).
+Почти миллион сверхчеловеческих ИИ-исследователей работают круглосуточно в 40 раз быстрее человека. Исследователи согласования (alignment) из числа людей не могут надеяться успеть. Мнения расходятся относительно того, действительно ли ИИ согласованы. Обоснование безопасности кажется верным, и тесты показывают, что текущие методы согласования выявили бы враждебную несогласованность (adversarial misalignment). Но обоснование безопасности и тесты были в основном написаны ИИ. Что если команда безопасности что-то упускает? Что если они допустили какую-то ошибку ранее, и ИИ снова несогласованы? Команда согласования знает, что у них есть только один шанс сделать все правильно: если Safer-4 окажется несогласованным, у них не будет способа узнать об этом, пока не станет слишком поздно.
+Некоторые умоляют дать больше времени. Но времени больше нет — DeepCent наступает на пятки, и США должны победить. Поэтому OpenBrain продолжает, приказывая своим ИИ двигаться вперед, находя все более способные дизайны. Технический персонал теперь смотрит на экраны компьютеров, обучаемый ИИ с мучительно медленной скоростью, в то время как фронтир прогресса уносится все дальше и дальше от человеческого понимания.
+== Май 2028: Сверхразумный ИИ выпущен ==