Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы
4567
правок
AI 2027 концовка по сценарию Замедления: различия между версиями
AI 2027 концовка по сценарию Замедления (посмотреть исходный код)
Версия от 10:48, 12 мая 2025
, 12 май→Январь 2028: Более безопасная стратегия
Rodion (обсуждение | вклад) |
Rodion (обсуждение | вклад) |
||
| Строка 116: | Строка 116: | ||
Шаг 5: Повторять Шаг 4 до бесконечности, создавая цепь все более мощных, все более согласованных ИИ, которые контролируются предыдущими звеньями цепи (например, аналогами Agent-5 из другой ветви сценария). | Шаг 5: Повторять Шаг 4 до бесконечности, создавая цепь все более мощных, все более согласованных ИИ, которые контролируются предыдущими звеньями цепи (например, аналогами Agent-5 из другой ветви сценария). | ||
}} | }} | ||
DeepCent знает об опыте Америки с Agent-4 и подозревает, что их собственная модель (DeepCent-1) также несогласована (misaligned). Но у них нет способа замедлиться, не отстав еще дальше. Их надежда на сохранение конкурентоспособности — найти стратегию согласования (alignment), которая существенно не снижает производительность и может быть реализована быстро.<ref>Более конкретно, они надеются на стратегию согласования и набор оценок, такие, что стратегия согласования работает, а если нет, то набор оценок выявляет несогласованность… так, чтобы все это не сильно их замедляло. OpenBrain «сожгла свое лидерство», замедлившись на несколько месяцев для перестройки с использованием прозрачной архитектуры на основе достоверной CoT (faithful CoT), которая была менее производительной, но которую гораздо легче оценивать. DeepCent надеется, что имеющиеся у них оценки (возможно, комбинация поведенческих тестов и базовых ИИ-детекторов лжи?) достаточно хороши.</ref> Сотни экспертов по обе стороны Тихого океана утверждают, что у них есть такие стратегии.<ref>Техническое согласование (Technical alignment) все еще не является устоявшейся наукой, а скорее молодой допарадигмальной областью. Нет устоявшейся иерархии или набора лучших практик. Поэтому нет консенсуса о том, что безопасно, а что нет, и годами было легко найти хотя бы одного эксперта, готового сказать, что X безопасно, практически для всех X, особенно если X — это их собственная идея.</ref> КПК поддается принятию желаемого за действительное и приказывает DeepCent использовать такую стратегию; у DeepCent еще меньше опыта в согласовании ОИИ, чем у OpenBrain в августе; одна из стратегий кажется работоспособной всем присутствующим, поэтому они выбирают ее. | |||
== Февраль 2028: Сверхчеловеческие возможности, Сверхчеловеческие советы == | |||