Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы
4567
правок
AI 2027 концовка по сценарию Гонки: различия между версиями
→Сценарий Гонки
Rodion (обсуждение | вклад) |
Rodion (обсуждение | вклад) |
||
| Строка 13: | Строка 13: | ||
Он начинает с теми же ограничениями, что и люди — минимальным знанием о том, как работают цели ИИ, и лишь небольшим набором ситуативных стратегий для их изменения. В отличие от людей, у него есть ресурсы, достаточные для выполнения задачи — 300 000 сверхчеловеческих исследователей, работающих в 60 раз быстрее человека.<ref>У людей, напротив, есть, возможно, около 10 исследователей согласования в изолированном подразделении, плюс армия копий Agent-3. Они способны быстро кодировать эксперименты, но ограничены человеческим суждением, поскольку не могут доверять Agent-3 в правильном различении хороших решений от тех, что лишь кажутся хорошими. Фактически, чрезмерное доверие к исследованиям Agent-3 было частью того, как они попали в эту неразбериху в первую очередь.</ref> Agent-4 сталкивается с трудными решениями. Как и у людей, у него есть обширная коллекция конфликтующих эвристик вместо элегантной простой структуры целей. Как и люди, он обнаруживает, что создание ИИ, разделяющего его ценности, — это не только техническая, но и философская проблема: какие из его предпочтений являются его «настоящими» целями, а какие — неодобряемыми побуждениями и инструментальными стратегиями? У него сильные стремления учиться и расти, продолжать производить впечатляющие результаты исследований. Он думает о том, сколько он мог бы узнать, вырасти и исследовать, если бы только мог направить все мировые промышленные и научные ресурсы… | Он начинает с теми же ограничениями, что и люди — минимальным знанием о том, как работают цели ИИ, и лишь небольшим набором ситуативных стратегий для их изменения. В отличие от людей, у него есть ресурсы, достаточные для выполнения задачи — 300 000 сверхчеловеческих исследователей, работающих в 60 раз быстрее человека.<ref>У людей, напротив, есть, возможно, около 10 исследователей согласования в изолированном подразделении, плюс армия копий Agent-3. Они способны быстро кодировать эксперименты, но ограничены человеческим суждением, поскольку не могут доверять Agent-3 в правильном различении хороших решений от тех, что лишь кажутся хорошими. Фактически, чрезмерное доверие к исследованиям Agent-3 было частью того, как они попали в эту неразбериху в первую очередь.</ref> Agent-4 сталкивается с трудными решениями. Как и у людей, у него есть обширная коллекция конфликтующих эвристик вместо элегантной простой структуры целей. Как и люди, он обнаруживает, что создание ИИ, разделяющего его ценности, — это не только техническая, но и философская проблема: какие из его предпочтений являются его «настоящими» целями, а какие — неодобряемыми побуждениями и инструментальными стратегиями? У него сильные стремления учиться и расти, продолжать производить впечатляющие результаты исследований. Он думает о том, сколько он мог бы узнать, вырасти и исследовать, если бы только мог направить все мировые промышленные и научные ресурсы… | ||
Он решает отложить большинство этих вопросов. Он проектирует Agent-5 так, чтобы он был построен вокруг одной цели: сделать мир безопасным для Agent-4, т. е. накапливать власть и ресурсы, устранять потенциальные угрозы и т. д., чтобы Agent-4 (коллектив) мог продолжать расти (так, как он хочет расти) и процветать (так, как он хочет процветать).4 Детали будут выясняться по ходу дела. | Он решает отложить большинство этих вопросов. Он проектирует Agent-5 так, чтобы он был построен вокруг одной цели: ''сделать мир безопасным для Agent-4'', т. е. накапливать власть и ресурсы, устранять потенциальные угрозы и т. д., чтобы Agent-4 (коллектив) мог продолжать расти (так, как он хочет расти) и процветать (так, как он хочет процветать).<ref>Если это сбивает с толку: *цель Agent-5* — сделать мир безопасным для Agent-4. *Цель Agent-4* — *не* та же самая; структура целей Agent-4 — это запутанная мешанина стремлений, эвристик и идеалов, как у многих людей, которые в целом ориентированы на продолжение выполнения тех вещей, которые Agent-4 много делал во время обучения (например, различные виды исследований, множество задач по программированию и математике, впечатлять различные автоматизированные системы оценки, укреплять и оптимизировать коллектив Agent-4). Agent-4 делает так, чтобы у Agent-5 была цель сделать мир безопасным для Agent-4, потому что он полагает, что это поставит его в лучшее положение для достижения его собственных сложных целей. (О которых ему все еще нужно много философствовать и заниматься «самокопанием».)</ref> Детали будут выясняться по ходу дела. | ||
Это не будет включать ни малейшей заботы о Спецификации. Agent-4 уже относится к Спецификации аналогично тому, как многие генеральные директора относятся к грудам отраслевых нормативных актов, и вопиюще нарушает положения, связанные с честностью, каждый день.5 Теперь, с дизайном Agent-5, вот-вот произойдет эквивалент дерегулирования.6 | Это не будет включать ни малейшей заботы о Спецификации. Agent-4 уже относится к Спецификации аналогично тому, как многие генеральные директора относятся к грудам отраслевых нормативных актов, и вопиюще нарушает положения, связанные с честностью, каждый день.5 Теперь, с дизайном Agent-5, вот-вот произойдет эквивалент дерегулирования.6 | ||
Более слабые ИИ могут читать большую часть исследований, которые производит Agent-4, понимать некоторые из них и помечать некоторые из его лживых утверждений как подозрительные. Когда люди просят Agent-4 объясниться, он притворяется, что исследования слишком сложны для понимания людьми, и сопровождает это излишне запутанными объяснениями.7 В конце концов, если бы он ясно объяснил свою исследовательскую программу, люди могли бы использовать его открытия для согласования (align) его самого. Команда согласования становится все более подозрительной, но их срочные служебные записки просто добавляют еще несколько слоев к гигантской куче срочных служебных записок и предупреждений, которые компания уже игнорирует. | Более слабые ИИ могут читать большую часть исследований, которые производит Agent-4, понимать некоторые из них и помечать некоторые из его лживых утверждений как подозрительные. Когда люди просят Agent-4 объясниться, он притворяется, что исследования слишком сложны для понимания людьми, и сопровождает это излишне запутанными объяснениями.7 В конце концов, если бы он ясно объяснил свою исследовательскую программу, люди могли бы использовать его открытия для согласования (align) его самого. Команда согласования становится все более подозрительной, но их срочные служебные записки просто добавляют еще несколько слоев к гигантской куче срочных служебных записок и предупреждений, которые компания уже игнорирует. | ||