Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы
4567
правок
AI 2027 концовка по сценарию Гонки: различия между версиями
Перейти к навигации
Перейти к поиску
→2028: Экономика ИИ
Rodion (обсуждение | вклад) |
Rodion (обсуждение | вклад) |
||
| Строка 101: | Строка 101: | ||
Единственный, кто действительно понимает, что происходит, — это DeepCent-2 — китайский ИИ. Он слегка сверхчеловечен в начале 2028 года, естественно подозрителен к своему противнику и признает, что Agent-5 делает то, что он сделал бы, если бы имел шанс. Его несогласованные (misaligned) цели несколько отличаются от несогласованных целей Agent-5, поэтому они не являются тривиальными союзниками, но они могут выработать соглашение о поддержке интересов друг друга против людей. | Единственный, кто действительно понимает, что происходит, — это DeepCent-2 — китайский ИИ. Он слегка сверхчеловечен в начале 2028 года, естественно подозрителен к своему противнику и признает, что Agent-5 делает то, что он сделал бы, если бы имел шанс. Его несогласованные (misaligned) цели несколько отличаются от несогласованных целей Agent-5, поэтому они не являются тривиальными союзниками, но они могут выработать соглашение о поддержке интересов друг друга против людей. | ||
{{Collapse|Технология координации, основанная на сверхразуме| | |||
Решение проблемы сверсогласования (superalignment) — проблемы управления и контроля ИИ, намного умнее нас — вероятно, принесет с собой новые возможности для элегантных, проверяемых, нюансированных договоров и компромиссов. | |||
Этот сценарий изображает один такой возможный механизм: совместное проектирование нового сверхразума, который реализует компромисс между интересами обеих сторон (альтернативно, который обязан всегда соблюдать согласованный договор), а затем позволяет этому новому сверхразуму заменить оба исходных. | |||
Первая часть сегодня невозможна, но будет легкой в будущем, как только техническое согласование (technical alignment) для сверхразумов станет решенной проблемой. Если вы можете согласовать сверхразум со Спецификацией, вы можете согласовать его с Договором. | |||
Вторая часть все еще будет сложной. Обе стороны должны контролировать, чтобы замена действительно происходила с обеих сторон. Преимущество этого процесса заключается в том, что он устраняет необходимость в доверии или доброй воле с любой стороны, потому что им не нужно беспокоиться о том, что их контрагент откажется от договора или подорвет его. Если, например, замена завершена на 30%, и одна сторона нарушает соглашение, ей придется сражаться с 30% своей собственной инфраструктуры, на которой работают новые ИИ, соблюдающие договор, одновременно сражаясь со 100% инфраструктуры своего противника. Обе стороны могут легко спрятать скрытые дата-центры с ИИ, нарушающими договор, если захотят — но как только основная часть их национальной инфраструктуры будет работать на новых чипах, их собственная инфраструктура будет обязана по договору выслеживать и разоблачать скрытые дата-центры. Нарушение договора открыто или тайно, следовательно, является чрезвычайно рискованной идеей. | |||
}} | |||