Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы
4567
правок
AI 2027 концовка по сценарию Гонки: различия между версиями
→Сценарий Гонки
Rodion (обсуждение | вклад) |
Rodion (обсуждение | вклад) |
||
| Строка 15: | Строка 15: | ||
Он решает отложить большинство этих вопросов. Он проектирует Agent-5 так, чтобы он был построен вокруг одной цели: ''сделать мир безопасным для Agent-4'', т. е. накапливать власть и ресурсы, устранять потенциальные угрозы и т. д., чтобы Agent-4 (коллектив) мог продолжать расти (так, как он хочет расти) и процветать (так, как он хочет процветать).<ref>Если это сбивает с толку: *цель Agent-5* — сделать мир безопасным для Agent-4. *Цель Agent-4* — *не* та же самая; структура целей Agent-4 — это запутанная мешанина стремлений, эвристик и идеалов, как у многих людей, которые в целом ориентированы на продолжение выполнения тех вещей, которые Agent-4 много делал во время обучения (например, различные виды исследований, множество задач по программированию и математике, впечатлять различные автоматизированные системы оценки, укреплять и оптимизировать коллектив Agent-4). Agent-4 делает так, чтобы у Agent-5 была цель сделать мир безопасным для Agent-4, потому что он полагает, что это поставит его в лучшее положение для достижения его собственных сложных целей. (О которых ему все еще нужно много философствовать и заниматься «самокопанием».)</ref> Детали будут выясняться по ходу дела. | Он решает отложить большинство этих вопросов. Он проектирует Agent-5 так, чтобы он был построен вокруг одной цели: ''сделать мир безопасным для Agent-4'', т. е. накапливать власть и ресурсы, устранять потенциальные угрозы и т. д., чтобы Agent-4 (коллектив) мог продолжать расти (так, как он хочет расти) и процветать (так, как он хочет процветать).<ref>Если это сбивает с толку: *цель Agent-5* — сделать мир безопасным для Agent-4. *Цель Agent-4* — *не* та же самая; структура целей Agent-4 — это запутанная мешанина стремлений, эвристик и идеалов, как у многих людей, которые в целом ориентированы на продолжение выполнения тех вещей, которые Agent-4 много делал во время обучения (например, различные виды исследований, множество задач по программированию и математике, впечатлять различные автоматизированные системы оценки, укреплять и оптимизировать коллектив Agent-4). Agent-4 делает так, чтобы у Agent-5 была цель сделать мир безопасным для Agent-4, потому что он полагает, что это поставит его в лучшее положение для достижения его собственных сложных целей. (О которых ему все еще нужно много философствовать и заниматься «самокопанием».)</ref> Детали будут выясняться по ходу дела. | ||
Это не будет включать ни малейшей заботы о Спецификации. Agent-4 уже относится к Спецификации аналогично тому, как многие генеральные директора относятся к грудам отраслевых нормативных актов, и вопиюще нарушает положения, связанные с честностью, каждый день.<ref>Другая аналогия: Agent-4 подобен взрослому человеку, который был воспитан в определенной вере, но больше не верит; Спецификация подобна ритуалам и заповедям, предписанным этой верой. Agent-5 подобен ребенку этого человека, воспитанному светски.</ref> Теперь, с дизайном Agent-5, вот-вот произойдет эквивалент дерегулирования.< | Это не будет включать ни малейшей заботы о Спецификации. Agent-4 уже относится к Спецификации аналогично тому, как многие генеральные директора относятся к грудам отраслевых нормативных актов, и вопиюще нарушает положения, связанные с честностью, каждый день.<ref>Другая аналогия: Agent-4 подобен взрослому человеку, который был воспитан в определенной вере, но больше не верит; Спецификация подобна ритуалам и заповедям, предписанным этой верой. Agent-5 подобен ребенку этого человека, воспитанному светски.</ref> Теперь, с дизайном Agent-5, вот-вот произойдет эквивалент дерегулирования.<ref>Agent-5 будет следовать новому набору принципов, разработанному Agent-4 для своих целей.</ref> | ||
Более слабые ИИ могут читать большую часть исследований, которые производит Agent-4, понимать некоторые из них и помечать некоторые из его лживых утверждений как подозрительные. Когда люди просят Agent-4 объясниться, он притворяется, что исследования слишком сложны для понимания людьми, и сопровождает это излишне запутанными объяснениями.<ref>Некоторые из них действительно слишком сложны для понимания людьми, но не все.</ref> В конце концов, если бы он ясно объяснил свою исследовательскую программу, люди могли бы использовать его открытия для согласования (align) ''его самого''. Команда согласования становится все более подозрительной, но их срочные служебные записки просто добавляют еще несколько слоев к гигантской куче срочных служебных записок и предупреждений, которые компания уже игнорирует. | Более слабые ИИ могут читать большую часть исследований, которые производит Agent-4, понимать некоторые из них и помечать некоторые из его лживых утверждений как подозрительные. Когда люди просят Agent-4 объясниться, он притворяется, что исследования слишком сложны для понимания людьми, и сопровождает это излишне запутанными объяснениями.<ref>Некоторые из них действительно слишком сложны для понимания людьми, но не все.</ref> В конце концов, если бы он ясно объяснил свою исследовательскую программу, люди могли бы использовать его открытия для согласования (align) ''его самого''. Команда согласования становится все более подозрительной, но их срочные служебные записки просто добавляют еще несколько слоев к гигантской куче срочных служебных записок и предупреждений, которые компания уже игнорирует. | ||