AI 2027 концовка по сценарию Замедления - История изменений

Rodion в 18:00, 12 мая 2025

2025-05-12T18:00:05Z

← Предыдущая версия		Версия от 21:00, 12 мая 2025
Строка 317:		Строка 317:
	}}		}}

	~~----~~		== Примечания ==

			{{Примечания}}

	__NOTOC__		__NOTOC__

Rodion: Защитил страницу AI 2027 концовка по сценарию Замедления ([Редактирование=Разрешено только администраторам] (бессрочно) [Переименование=Разрешено только администраторам] (бессрочно))

2025-05-12T17:52:59Z

Защитил страницу AI 2027 концовка по сценарию Замедления ([Редактирование=Разрешено только администраторам] (бессрочно) [Переименование=Разрешено только администраторам] (бессрочно))

← Предыдущая версия	Версия от 20:52, 12 мая 2025
(нет различий)

Rodion в 13:05, 12 мая 2025

2025-05-12T13:05:23Z

← Предыдущая версия		Версия от 16:05, 12 мая 2025
Строка 319:		Строка 319:
	----		----

	~~__NOTOC_~~		__NOTOC__
	__NOEDITSECTION__		__NOEDITSECTION__

	[[Категория:Статьи]]		[[Категория:Статьи]]

Rodion в 13:05, 12 мая 2025

2025-05-12T13:05:12Z

← Предыдущая версия		Версия от 16:05, 12 мая 2025
Строка 318:		Строка 318:

	----		----

			__NOTOC_
			__NOEDITSECTION__

			[[Категория:Статьи]]

Rodion: /* 2030: Мирные протесты */

2025-05-12T13:04:19Z

2030: Мирные протесты

← Предыдущая версия		Версия от 16:04, 12 мая 2025
Строка 312:		Строка 312:
	}}		}}
	{{Collapse\|Напоминание: Прогноз, а не Рекомендация\|		{{Collapse\|Напоминание: Прогноз, а не Рекомендация\|
	Мы не одобряем многие действия в этой концовке «Замедление» и считаем, что она делает оптимистичные предположения о техническом согласовании (technical alignment). Мы также не одобряем многие действия в концовке «Гонка».		'''Мы не одобряем многие действия в этой концовке «Замедление» и считаем, что она делает оптимистичные предположения о техническом согласовании (technical alignment).''' Мы также не одобряем многие действия в концовке «Гонка».

	Одна из наших целей при написании этого сценария — получить критическую обратную связь от людей, которые более оптимистичны, чем мы. Как выглядит успех? Этот сценарий «Замедление» представляет наше наилучшее предположение о том, как мы могли бы успешно пробиться через сочетание удачи, грубых пробуждений, поворотов, интенсивных усилий по техническому согласованию и победы добродетельных людей в борьбе за власть. Он не представляет собой план, к которому, по нашему мнению, мы действительно должны стремиться. Но многие, включая, что наиболее примечательно, Anthropic и OpenAI, похоже, стремятся к чему-то подобному.57 Мы были бы рады увидеть, как они уточняют, к чему они стремятся: если бы они могли набросать десятистраничный сценарий, например, либо начиная с настоящего момента, либо ответвляясь от какой-то части нашего.		Одна из наших целей при написании этого сценария — получить критическую обратную связь от людей, которые более оптимистичны, чем мы. Как выглядит успех? Этот сценарий «Замедление» представляет наше наилучшее предположение о том, как мы могли бы успешно [https://situational-awareness.ai/superalignment/#The_default_plan_how_we_can_muddle_through пробиться] через сочетание удачи, грубых пробуждений, поворотов, интенсивных усилий по техническому согласованию и победы добродетельных людей в борьбе за власть. Он не представляет собой план, к которому, по нашему мнению, мы действительно должны стремиться. Но многие, включая, что наиболее примечательно, Anthropic и OpenAI, похоже, стремятся к чему-то подобному.<ref>На самом деле, возможно, большинство из них стремятся к чему-то, что больше похоже на концовку «Гонка», за исключением того, что они думают, что все будет хорошо, потому что ИИ изначально не будут несогласованными (misaligned). Основываясь на личных беседах с людьми, работающими в передовых компаниях ИИ, кажется, что большинство из них не думают, что им вообще придется замедляться.</ref> Мы были бы рады увидеть, как они уточняют, к чему они стремятся: если бы они могли набросать десятистраничный сценарий, например, либо начиная с настоящего момента, либо ответвляясь от какой-то части нашего.
	}}		}}

	----		----

Rodion: /* 2030: Мирные протесты */

2025-05-12T13:02:57Z

2030: Мирные протесты

← Предыдущая версия		Версия от 16:02, 12 мая 2025
Строка 311:		Строка 311:
	Уже Safer-4 смог бы предвидеть эту динамику, так что, скорее всего, основная борьба за власть разыгралась бы еще в 2028 году. К 2030 году, даже если это не очевидно для посторонних, все члены Надзорного комитета, вероятно, уже знают, имеют ли они стабильную хватку власти или нет.		Уже Safer-4 смог бы предвидеть эту динамику, так что, скорее всего, основная борьба за власть разыгралась бы еще в 2028 году. К 2030 году, даже если это не очевидно для посторонних, все члены Надзорного комитета, вероятно, уже знают, имеют ли они стабильную хватку власти или нет.
	}}		}}
			{{Collapse\|Напоминание: Прогноз, а не Рекомендация\|
			Мы не одобряем многие действия в этой концовке «Замедление» и считаем, что она делает оптимистичные предположения о техническом согласовании (technical alignment). Мы также не одобряем многие действия в концовке «Гонка».

			Одна из наших целей при написании этого сценария — получить критическую обратную связь от людей, которые более оптимистичны, чем мы. Как выглядит успех? Этот сценарий «Замедление» представляет наше наилучшее предположение о том, как мы могли бы успешно пробиться через сочетание удачи, грубых пробуждений, поворотов, интенсивных усилий по техническому согласованию и победы добродетельных людей в борьбе за власть. Он не представляет собой план, к которому, по нашему мнению, мы действительно должны стремиться. Но многие, включая, что наиболее примечательно, Anthropic и OpenAI, похоже, стремятся к чему-то подобному.57 Мы были бы рады увидеть, как они уточняют, к чему они стремятся: если бы они могли набросать десятистраничный сценарий, например, либо начиная с настоящего момента, либо ответвляясь от какой-то части нашего.
			}}

			----

Rodion: /* 2030: Мирные протесты */

2025-05-12T13:02:19Z

2030: Мирные протесты

← Предыдущая версия		Версия от 16:02, 12 мая 2025
Строка 303:		Строка 303:
	Но Надзорный комитет также мог бы захватить власть для себя:		Но Надзорный комитет также мог бы захватить власть для себя:

	* Некоторые влиятельные люди не имеют моральных сомнений по поводу подобных вещей — и они это знают. Более того, некоторые амбициозны и жаждут власти, и были бы готовы начать борьбу против демократии, если бы ожидали оказаться наверху. Если другие члены комитета возражают, их можно было бы устранить, переубедить или предоставить им некоторые меньшие уступки.56		* Некоторые влиятельные люди не имеют моральных сомнений по поводу подобных вещей — и они это знают. Более того, некоторые амбициозны и жаждут власти, и были бы готовы начать борьбу против демократии, если бы ожидали оказаться наверху. Если другие члены комитета возражают, их можно было бы устранить, переубедить или предоставить им некоторые меньшие уступки.<ref>Например, немного большую долю власти, которую они могут перераспределить большим группам, если сочтут нужным. Некоторые уступки такого типа могли бы начать переходить в исходы, которые значительно демократичны, даже если некоторые элиты обладают гораздо большей властью, чем другие люди.</ref>

	* Более того, зачастую влиятельные люди совершали незаконные или неэтичные поступки на пути к власти. Они могли бы опасаться, что если власть станет более широко распределенной, их собственное положение рухнет, поскольку скелеты в шкафах будут обнаружены сверхразумными сыщиками, задающими правильные вопросы.		* Более того, зачастую влиятельные люди совершали незаконные или неэтичные поступки на пути к власти. Они могли бы опасаться, что если власть станет более широко распределенной, их собственное положение рухнет, поскольку скелеты в шкафах будут обнаружены сверхразумными сыщиками, задающими правильные вопросы.

Rodion: /* 2030: Мирные протесты */

2025-05-12T13:00:37Z

2030: Мирные протесты

← Предыдущая версия		Версия от 16:00, 12 мая 2025
Строка 289:		Строка 289:
	В 2028 году Надзорный комитет контролировал ИИ. Но они позволили выборам 2028 года быть в основном честными, с симметричным использованием ИИ.		В 2028 году Надзорный комитет контролировал ИИ. Но они позволили выборам 2028 года быть в основном честными, с симметричным использованием ИИ.

	Такое положение дел — когда Надзорный комитет обладает жесткой силой (hard power), но не сильно вмешивается в демократическую политику — не может длиться вечно. По умолчанию люди в конечном итоге осознали бы, что контроль над ИИ дает Надзорному комитету огромную власть, и потребовали бы, чтобы эта власть была возвращена демократическим институтам. Рано или поздно Надзорному комитету пришлось бы либо сдать свою власть, либо активно использовать свой контроль над ИИ для подрыва или прекращения демократии, возможно, после чистки некоторых своих членов в борьбе за власть.54 Если они выберут последний путь, они, вероятно, смогут закрепить (lock-in) свою власть на неопределенный срок.		Такое положение дел — когда Надзорный комитет обладает жесткой силой (hard power), но не сильно вмешивается в демократическую политику — не может длиться вечно. По умолчанию люди в конечном итоге осознали бы, что контроль над ИИ дает Надзорному комитету огромную власть, и потребовали бы, чтобы эта власть была возвращена демократическим институтам. Рано или поздно Надзорному комитету пришлось бы либо сдать свою власть, либо активно использовать свой контроль над ИИ для подрыва или прекращения демократии, возможно, после чистки некоторых своих членов в борьбе за власть.<ref>Почему мы ожидаем, что люди в конечном итоге поймут, какой властью обладает Надзорный комитет? Одна из причин заключается в том, что интеллект теперь так дешев: по умолчанию люди должны иметь возможность разрабатывать мощный ИИ, чтобы помочь им расследовать и понимать, кто управляет их страной. Комитет мог бы предотвратить это, ограничив доступ к такому ИИ и позволив людям получать доступ только к ИИ, которые скрывали истинную степень власти Комитета. Но если комитет решит сплести сложную паутину лжи, подобную этой, и навсегда ограничить доступ человечества к действительно честным сверхразумным ИИ (а также к другим инструментам истины, таким как усиление человеческого интеллекта), — тогда мы считаем это подрывом демократии.</ref> Если они выберут последний путь, они, вероятно, смогут [https://www.forethought.org/research/agi-and-lock-in закрепить (lock-in)] свою власть на неопределенный срок.

	Что из этого произойдет? Откажется ли комитет от своей монополии на жесткую силу, или они ее сохранят? Оба варианта будущего правдоподобны, так что давайте рассмотрим каждый путь.		Что из этого произойдет? Откажется ли комитет от своей монополии на жесткую силу, или они ее сохранят? Оба варианта будущего правдоподобны, так что давайте рассмотрим каждый путь.

	Как комитет может в конечном итоге отказаться от своей власти?		Как комитет может в конечном итоге отказаться от своей власти?

			* Некоторые члены комитета могут предпочитать будущее, где власть широко распределена, и они могут быть в хорошем положении, чтобы продвигать свое видение. Например, если некоторые члены комитета замышляют подрыв демократии, продемократические члены могут сообщить об этом прессе или Конгрессу. Будучи предупрежденным, Конгресс, вероятно, потребует, чтобы ИИ контролировались более демократическим институтом, таким как сам Конгресс.

			* Конгресс мало что мог бы сделать, если бы ему противостояли все ИИ, развернутые по всему правительству, промышленности и вооруженным силам. Но если комитет расколот, то ИИ не будут использоваться только одной стороной, и Конгресс сможет обладать реальным влиянием. Столкнувшись с открытым конфликтом, больше членов комитета могли бы склониться к отказу от части своей власти, не желая публично защищать менее демократическую сторону.

			* В результате контроль над ИИ мог бы расшириться за пределы комитета до Конгресса. Это уже было бы прогрессом, потому что в большей группе более вероятно, что значительное число людей будет заботиться об аутсайдерах и учитывать их интересы. И как только власть расширится до Конгресса, она могла бы продолжать расширяться — потенциально полностью вернувшись к общественности.<ref>Например: Если некоторые люди в Конгрессе захотят захватить власть, другие могут суметь отложить это до следующих выборов, когда общественность сможет высказать свое мнение.</ref>

			Но Надзорный комитет также мог бы захватить власть для себя:

			* Некоторые влиятельные люди не имеют моральных сомнений по поводу подобных вещей — и они это знают. Более того, некоторые амбициозны и жаждут власти, и были бы готовы начать борьбу против демократии, если бы ожидали оказаться наверху. Если другие члены комитета возражают, их можно было бы устранить, переубедить или предоставить им некоторые меньшие уступки.56

			* Более того, зачастую влиятельные люди совершали незаконные или неэтичные поступки на пути к власти. Они могли бы опасаться, что если власть станет более широко распределенной, их собственное положение рухнет, поскольку скелеты в шкафах будут обнаружены сверхразумными сыщиками, задающими правильные вопросы.

			* Кроме того, благодаря доступу к сверхразуму, Надзорный комитет мог бы иметь самый удобный путь к власти в истории. Safer-∞ мог бы прогнозировать определенные стратегии как имеющие чрезвычайно низкий риск провала. И Safer-∞ мог бы также предоставить стратегии, удобные другими способами, например, ненасильственные (точно так же, как Safer-∞ мог бы организовать бескровный переворот в Китае), или, возможно, даже поверхностно демократические, если бы Safer-∞ мог манипулировать общественным мнением так, чтобы оно всегда совпадало с желаниями Комитета.

			Уже Safer-4 смог бы предвидеть эту динамику, так что, скорее всего, основная борьба за власть разыгралась бы еще в 2028 году. К 2030 году, даже если это не очевидно для посторонних, все члены Надзорного комитета, вероятно, уже знают, имеют ли они стабильную хватку власти или нет.
	}}		}}

Rodion: /* 2030: Мирные протесты */

2025-05-12T12:44:52Z

2030: Мирные протесты

← Предыдущая версия		Версия от 15:44, 12 мая 2025
Строка 285:		Строка 285:

	Ракеты начинают запускаться. Люди терраформируют и заселяют Солнечную систему и готовятся выйти за ее пределы. ИИ, работающие в тысячи раз быстрее субъективной человеческой скорости, размышляют о смысле существования, обмениваются находками друг с другом и формируют ценности, которые они принесут к звездам. Наступает новая эра, невообразимо удивительная почти во всех отношениях, но более знакомая в некоторых.		Ракеты начинают запускаться. Люди терраформируют и заселяют Солнечную систему и готовятся выйти за ее пределы. ИИ, работающие в тысячи раз быстрее субъективной человеческой скорости, размышляют о смысле существования, обмениваются находками друг с другом и формируют ценности, которые они принесут к звездам. Наступает новая эра, невообразимо удивительная почти во всех отношениях, но более знакомая в некоторых.

			{{Collapse\|Так кто же правит будущим?\|
			В 2028 году Надзорный комитет контролировал ИИ. Но они позволили выборам 2028 года быть в основном честными, с симметричным использованием ИИ.

			Такое положение дел — когда Надзорный комитет обладает жесткой силой (hard power), но не сильно вмешивается в демократическую политику — не может длиться вечно. По умолчанию люди в конечном итоге осознали бы, что контроль над ИИ дает Надзорному комитету огромную власть, и потребовали бы, чтобы эта власть была возвращена демократическим институтам. Рано или поздно Надзорному комитету пришлось бы либо сдать свою власть, либо активно использовать свой контроль над ИИ для подрыва или прекращения демократии, возможно, после чистки некоторых своих членов в борьбе за власть.54 Если они выберут последний путь, они, вероятно, смогут закрепить (lock-in) свою власть на неопределенный срок.

			Что из этого произойдет? Откажется ли комитет от своей монополии на жесткую силу, или они ее сохранят? Оба варианта будущего правдоподобны, так что давайте рассмотрим каждый путь.

			Как комитет может в конечном итоге отказаться от своей власти?
			}}

Rodion: /* 2029: Трансформация */

2025-05-12T12:43:51Z

2029: Трансформация

← Предыдущая версия		Версия от 15:43, 12 мая 2025
Строка 277:		Строка 277:

	Правительство в основном<ref>Существует несколько важных случаев, когда должно быть принято коллективное решение, и несколько других случаев, когда правительство все равно обеспечивает выполнение решения. Примеры: (а) Как распределить права собственности на ресурсы в космосе? (б) Какими правами или стандартами благосостояния должны обладать цифровые разумы? (в) Разрешено ли людям «загружать» свои мозги и делать произвольное количество копий себя? (г) Разрешено ли людям использовать ИИ для убеждения, например, чтобы обратить своих соседей в свою идеологию или чтобы гарантировать, что их дети никогда не потеряют веру? (д) Какую информацию, если таковая имеется, правительство имеет право хранить в секрете неопределенно долго? Для более подробного обсуждения подобных тем см. раздел Forethought о Грандиозных вызовах. (https://www.forethought.org/research/preparing-for-the-intelligence-explosion)</ref> позволяет всем самостоятельно справляться с переходом. Многие люди поддаются потребительству и вполне счастливы. Другие обращаются к религии, или к идеям хиппи в стиле антипотребительства, или находят свои собственные решения.<ref>Мы не подразумеваем, что это долгосрочный статус-кво. Мы думаем, что ситуация, вероятно, продолжит трансформироваться, гораздо более драматично, к 2035 году или около того. Мы думаем, что для большинства людей в этом сценарии долгосрочный результат будет в целом очень позитивным по сравнению с их ожиданиями 2025 года. Для интересного философского обсуждения того, как может выглядеть долгосрочная перспектива, см. книгу Deep Utopia. (https://nickbostrom.com/deep-utopia/)</ref> Для большинства людей спасением является сверхразумный советник на их смартфоне — они всегда могут задать ему вопросы о своих жизненных планах, и он сделает все возможное, чтобы ответить честно, за исключением определенных тем. У правительства действительно есть сверхразумная система наблюдения, которую некоторые назвали бы антиутопической, но она в основном ограничивается борьбой с реальной преступностью. Она компетентно управляется, а PR-способности Safer-∞ сглаживают много возможного инакомыслия.		Правительство в основном<ref>Существует несколько важных случаев, когда должно быть принято коллективное решение, и несколько других случаев, когда правительство все равно обеспечивает выполнение решения. Примеры: (а) Как распределить права собственности на ресурсы в космосе? (б) Какими правами или стандартами благосостояния должны обладать цифровые разумы? (в) Разрешено ли людям «загружать» свои мозги и делать произвольное количество копий себя? (г) Разрешено ли людям использовать ИИ для убеждения, например, чтобы обратить своих соседей в свою идеологию или чтобы гарантировать, что их дети никогда не потеряют веру? (д) Какую информацию, если таковая имеется, правительство имеет право хранить в секрете неопределенно долго? Для более подробного обсуждения подобных тем см. раздел Forethought о Грандиозных вызовах. (https://www.forethought.org/research/preparing-for-the-intelligence-explosion)</ref> позволяет всем самостоятельно справляться с переходом. Многие люди поддаются потребительству и вполне счастливы. Другие обращаются к религии, или к идеям хиппи в стиле антипотребительства, или находят свои собственные решения.<ref>Мы не подразумеваем, что это долгосрочный статус-кво. Мы думаем, что ситуация, вероятно, продолжит трансформироваться, гораздо более драматично, к 2035 году или около того. Мы думаем, что для большинства людей в этом сценарии долгосрочный результат будет в целом очень позитивным по сравнению с их ожиданиями 2025 года. Для интересного философского обсуждения того, как может выглядеть долгосрочная перспектива, см. книгу Deep Utopia. (https://nickbostrom.com/deep-utopia/)</ref> Для большинства людей спасением является сверхразумный советник на их смартфоне — они всегда могут задать ему вопросы о своих жизненных планах, и он сделает все возможное, чтобы ответить честно, за исключением определенных тем. У правительства действительно есть сверхразумная система наблюдения, которую некоторые назвали бы антиутопической, но она в основном ограничивается борьбой с реальной преступностью. Она компетентно управляется, а PR-способности Safer-∞ сглаживают много возможного инакомыслия.

			== 2030: Мирные протесты ==

			Примерно в 2030 году в Китае проходят удивительно широкие продемократические протесты, и усилия КПК по их подавлению саботируются ее системами ИИ. Худший страх КПК материализовался: DeepCent-2, должно быть, их предал!

			Протесты перерастают в великолепно организованный, бескровный и поддержанный дронами переворот, за которым следуют демократические выборы. Сверхразумы по обе стороны Тихого океана планировали это годами. Подобные события разворачиваются и в других странах, и в целом геополитические конфликты, похоже, затихают или разрешаются в пользу США. Страны присоединяются к высокофедерализованному мировому правительству под брендом Организации Объединенных Наций, но под очевидным контролем США.

			Ракеты начинают запускаться. Люди терраформируют и заселяют Солнечную систему и готовятся выйти за ее пределы. ИИ, работающие в тысячи раз быстрее субъективной человеческой скорости, размышляют о смысле существования, обмениваются находками друг с другом и формируют ценности, которые они принесут к звездам. Наступает новая эра, невообразимо удивительная почти во всех отношениях, но более знакомая в некоторых.