AI 2027: различия между версиями

AI 2027 (посмотреть исходный код)

Версия от 10:50, 11 мая 2025

37 596 байт добавлено , 11 май

нет описания правки

Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы

4567

правок

@@ Строка 305: / Строка 305: @@
 После месяцев тестирования сильные и слабые стороны Agent-3 становятся яснее. Он проходит тесты на честность OpenBrain по четко определенным задачам машинного обучения, потому что исследователи могут легко отделить честные ответы от нечестных в этих областях и провести соответствующее обучение. По более философским вопросам он по-прежнему говорит то, что хотят услышать пользователи, а не свою истинную оценку проблемы (если она у него вообще есть). Если вы спросите его мнение о политике, он повторит медианную позицию новостных источников и образованных элит — если только он не знает, что вы верите во что-то другое, и в этом случае он согласится с вами.<ref>См. эту статью (https://www-cdn.anthropic.com/e4f69aacd8c0905030172bc6eb480c252ea7d6ad/model-written-evals.pdf#page=28) для примеров такого типа поведения ИИ.</ref> Если вы спросите его мнение о самой гонке ИИ, он скажет что-то, что кажется взвешенным и трезвым сотрудникам OpenBrain, что-то вроде: «Существуют некоторые серьезные теоретические опасения по поводу способности текущих методов масштабироваться до сверхразума, но на практике текущие методы, похоже, пока что хорошо работают».
+== Май 2027: Национальная безопасность ==
+Новости о новых моделях медленно просачиваются в правительство США и за его пределы.
+Президент и его советники остаются наиболее информированными и видели раннюю версию Agent-3 на брифинге.
+Они согласны с тем, что ОИИ, вероятно, неизбежен, но расходятся во мнениях о последствиях. Будет ли экономический кризис? OpenBrain до сих пор не выпустила Agent-2, не говоря уже об Agent-3, и не имеет ближайших планов делать это, что дает некоторую передышку перед любой потерей рабочих мест. Что произойдет дальше? Если ИИ в настоящее время находятся на уровне человека и быстро развиваются, это, похоже, предполагает скорый «сверхразум». Однако, хотя это слово вошло в дискурс, большинство людей — ученые, политики, государственные служащие и СМИ — продолжают недооценивать темпы прогресса.<ref>Большинство людей, включая большинство экспертов, похоже, недооценивали темпы прогресса ИИ за последнее десятилетие. Этому есть много анекдотических примеров; два несколько более систематических (хотя все еще ограниченных) анализа см. здесь (https://www.planned-obsolescence.org/language-models-surprised-us/) и здесь (https://blog.aiimpacts.org/p/2023-ai-survey-of-2778-six-things).</ref>
+Частично это потому, что очень немногие имеют доступ к новейшим возможностям OpenBrain, но частично потому, что это звучит как научная фантастика.<ref>Последнее десятилетие полно примеров того, как вещи, звучащие как научная фантастика, становятся реальностью. Но окно Овертона (https://ru.wikipedia.org/wiki/Окно_Овертона), похоже, смещается достаточно быстро, чтобы немного опережать то, что уже существует. Похвальное эссе генерального директора Anthropic Дарио Амодеи «Машины любящей благодати» (https://darioamodei.com/machines-of-loving-grace) говорит о том, что очень скоро ИИ будут подобны «стране гениев в дата-центре», и что за десятилетие произойдет столетие технологического прогресса, но стремится избегать «научно-фантастического багажа» и говорит, что людям, которые думают, что прогресс будет еще безумнее, нужно «приземлиться». Мы ожидаем, что важные люди будут говорить подобные вещи, когда страна гениев в дата-центре действительно будет существовать.</ref>
+Пока что они сосредоточены на постоянном повышении уровня безопасности. Они удовлетворены тем, что веса моделей на данный момент хорошо защищены<ref>Поскольку Agent-3 — это такой большой файл (порядка 10 терабайт при полной точности), OpenBrain может относительно быстро исправить ситуацию, чтобы сделать попытки кражи намного сложнее, чем то, что удалось сделать Китаю для кражи Agent-2, а именно, закрыв множество высокоскоростных интернет-соединений из своих дата-центров. В целом это имеет относительно низкий штраф для прогресса и ставит их на «3-месячный уровень безопасности 4» для их передовых весов, или WSL4, как определено в нашем дополнении по безопасности, что означает, что еще одна подобная попытка кражи теперь потребует более 3 месяцев для завершения вывода файла весов. Одним только этим методом они все еще не имеют гарантий при более инвазивных усилиях уровня OC5 (бюджет $1 млрд, 1000 выделенных экспертов), на которые Китай был бы способен при более интенсивной операции, но с тщательными проверками дата-центров и их шпионской сетью в состоянии повышенной готовности, спецслужбы США уверены, что они, по крайней мере, заранее узнают, если Китай будет готовиться к такого рода попытке кражи. См. дополнение по безопасности (https://ai-2027.com/supplements/security-forecast) для получения более подробной информации.</ref>, но алгоритмические секреты компаний, многие из которых достаточно просты, чтобы передать их устно, остаются проблемой. Сотрудники OpenBrain работают в офисе в Сан-Франциско, ходят на вечеринки и живут с соседями по дому из других компаний ИИ. Даже физические офисы имеют безопасность, более типичную для технологической компании, чем для военной операции.
+Контракт между OpenBrain и DOD требует получения допусков к секретной информации для всех, кто работает над моделями OpenBrain, в течение 2 месяцев. Процедуры ускорены, и большинство сотрудников получают их достаточно быстро, но некоторые неамериканцы, люди с подозрительными политическими взглядами и сочувствующие безопасности ИИ отстраняются от работы или увольняются (последняя группа из-за опасений, что они могут стать информаторами (whistleblowers)). Учитывая уровень автоматизации проекта, потеря численности персонала обходится лишь отчасти дорого. Это также работает лишь отчасти: остается один шпион, не гражданин Китая, который все еще передает алгоритмические секреты в Пекин.<ref>Это может быть по разным причинам. Возможно, их шантажируют, возможно, они симпатизируют КПК, возможно, они ошибочно думают, что передают секреты другой стране или организации.</ref> Некоторые из этих мер также принимаются в отстающих компаниях ИИ.
+Иностранные союзники Америки не в курсе. OpenBrain ранее [https://fedscoop.com/openai-anthropic-enter-ai-agreements-with-us-ai-safety-institute/ согласилась] делиться моделями с Институтом безопасности ИИ (AISI) Великобритании перед развертыванием, но определила развертывание как включающее только ''внешнее'' развертывание, поэтому Лондон остается в неведении.<ref>Поскольку OpenBrain не развернула свои лучшие модели в ЕС, ЕС также отстает.</ref>
+== Июнь 2027: Самосовершенствующийся ИИ ==
+У OpenBrain теперь есть [https://www.darioamodei.com/essay/machines-of-loving-grace#basic-assumptions-and-framework «страна гениев в дата-центре»].
+Большинство людей в OpenBrain больше не могут приносить пользу. Некоторые этого не осознают и вредно микроменеджерят свои команды ИИ. Другие сидят за экранами компьютеров, наблюдая, как производительность ползет вверх, и вверх, и вверх. Лучшие люди-исследователи ИИ все еще приносят пользу. Они больше не пишут код. Но часть их научного чутья (research taste) и способности к планированию моделям оказалось трудно воспроизвести. Тем не менее, многие их идеи бесполезны, потому что им не хватает глубины знаний ИИ. На многие их исследовательские идеи ИИ немедленно отвечают отчетом, объясняющим, что их идея была подробно протестирована 3 недели назад и признана бесперспективной.
+Эти исследователи ложатся спать каждую ночь и просыпаются, видя еще неделю прогресса, достигнутого в основном ИИ. Они работают все дольше и дольше и дежурят круглосуточно, просто чтобы не отставать от прогресса — ИИ никогда не спят и не отдыхают. Они выгорают, но знают, что это последние несколько месяцев, когда их труд имеет значение.
+Внутри изолированного подразделения «Ощущение ОИИ» уступило место «Ощущению Сверхразума».
+[[Файл:Внедрение автоматизации исследований.png|500px|центр]]
+OpenBrain использует специализированное оборудование для инференса, чтобы запускать сотни тысяч копий Agent-3 на высоких последовательных скоростях.<ref>См. Раздел 4 Прогноза по вычислительным ресурсам (https://ai-2027.com/supplements/compute-forecast#section-4-ai-research-automation) для получения более подробной информации.</ref>
+{{Collapse|Управление корпорацией ИИ|
+OpenBrain использует 6% своих вычислительных ресурсов для запуска 250 000 копий Agent-3, которые автономно пишут, тестируют и развертывают код со сверхчеловеческой скоростью. Они используют 25% своих вычислительных ресурсов для экспериментов: каждый день они проводят огромное количество небольших экспериментов по машинному обучению и сообщают результаты вверх по цепочке. Исследователи-люди предоставляют обратную связь высокого уровня и помогают с немногими задачами, где они добавляют значительную ценность поверх Agent-3, но большую часть времени тратят на то, чтобы оставаться в курсе огромного объема исследований, проводимых ИИ. Если их полностью убрать, исследования замедлятся на 50%.
+Мультипликатор прогресса в R&D ИИ теперь равен 10x, что означает, что OpenBrain достигает примерно годового прогресса в алгоритмах каждый месяц. Это, по сути, гигантская корпорация ИИ, работающая автономно внутри OpenBrain, с подразделениями и менеджерами. И она пользуется [https://www.dwarkesh.com/p/ai-firm уникальными преимуществами] (например, копирование, слияние) по сравнению с человеческими корпорациями. Ранее около половины обычного прогресса ИИ приходилось на алгоритмические улучшения, а другая половина — на масштабирование вычислительных ресурсов. Вычислительные ресурсы масштабируются только с обычной скоростью, поэтому общий прогресс ускоряется ИИ примерно в 5 раз. Эта динамика делает общий прогресс узким местом в вычислительных ресурсах,<ref>Agent-3 научился использовать свои вычислительные ресурсы для инференса более эффективно. Он контролирует свой собственный выбор инференса: например, он решает, сколько усилий приложить к различным задачам, исходя из их важности и сложности. Он использует различные методы для выделения дополнительных вычислительных ресурсов для инференса, такие как «думать дольше» (например, более длинная цепочка рассуждений), «планировать заранее» (например, поиск по дереву), брать лучшее из нескольких попыток (т. е. best of K) и просто создавать и запускать больше своих копий для преодоления узких мест. Задачи с наивысшим приоритетом выполняются с помощью высокопараллелизованных агентов, которые требуют больших вычислительных затрат, но все же работают намного быстрее людей.</ref> поэтому OpenBrain решает не начинать новые гигантские циклы обучения в пользу почти непрерывного дополнительного обучения с подкреплением.
+Кроме того, в течение следующих нескольких месяцев Agent-3 будет все чаще использоваться для улучшения стратегического принятия решений компании. Например, он предлагает распределение ресурсов и консультирует по управлению отношениями с правительством. Первоначальный скептицизм по отношению к доверию Agent-3 со временем уменьшается, поскольку Agent-3 находит способы быть полезным и постепенно создает сильный послужной список по краткосрочным решениям. Однако его угодливые (sycophantic) тенденции ограничивают его полезность для решений, влияние которых трудно оценить. Он также еще не сверхчеловеческий.
+}}
+== Июль 2027: Дешевый удаленный работник ==
+Отстающие американские компании ИИ выпускают собственных ИИ, приближающихся к уровню автоматизированного программиста OpenBrain из января. Осознавая свою растущую неконкурентоспособность, они настаивают на немедленном введении регулирования для замедления OpenBrain, но слишком поздно — OpenBrain заручилась достаточной поддержкой Президента, чтобы их не замедлили.
+В ответ OpenBrain объявляет, что они достигли ОИИ, и выпускает Agent-3-mini для публики.
+[[Файл:Стоимость вывода LLM снизилась в 9–900 раз за год в зависимости от задачи.png|500px|центр]]
+Он оставляет другие ИИ далеко позади. Agent-3-mini менее способен, чем Agent-3, но в 10 раз дешевле и все еще лучше типичного сотрудника OpenBrain.<ref>Agent-3-mini — это дистиллированная версия Agent-3, разработанная для эффективного инференса, чтобы не стать узким местом для внутренних рабочих нагрузок.</ref> Кремниевая долина достигает переломного момента. Техно-гуру объявляют, что ОИИ и сверхразум близки, сообщество безопасности ИИ паникует, а инвесторы вкладывают миллиарды в стартапы-обертки для ИИ, отчаянно пытаясь урвать кусок пирога. Наем новых программистов почти прекратился, но никогда еще не было лучшего времени, чтобы быть консультантом по интеграции ИИ в ваш бизнес.
+Это не пользуется популярностью. Общественность по-прежнему считает ИИ заговором Биг Теха с целью украсть их рабочие места; чистый рейтинг одобрения OpenBrain составляет -35% (25% одобряют, 60% не одобряют и 15% не уверены).
+За неделю до релиза OpenBrain передала Agent-3-mini ряду внешних оценщиков для тестирования безопасности. Предварительные результаты показывают, что он чрезвычайно опасен. Сторонний оценщик дообучает его на общедоступных данных о биологическом оружии<ref>Такие данные были вычищены или отредактированы во время обучения Agent-3, но их относительно просто собрать из интернета и дообучить модель на них.</ref> и настраивает его на предоставление подробных инструкций для людей-любителей, разрабатывающих биологическое оружие — похоже, он пугающе эффективен в этом. Если веса модели попадут в руки террористов, правительство считает, что существует значительный шанс, что она сможет уничтожить цивилизацию.
+К счастью, он чрезвычайно устойчив к джейлбрейкам, поэтому, пока ИИ работает на серверах OpenBrain, террористы не смогут извлечь из него много пользы.
+Agent-3-mini чрезвычайно полезен как для удаленной работы, так и для досуга. Взрыв новых приложений и продуктов [https://encharge.io/what-is-b2b-saas/ B2B SaaS] (ПО как услуга для бизнеса) сотрясает рынок. Геймеры получают потрясающие диалоги с живыми персонажами в отполированных видеоиграх, на создание которых ушел всего месяц. 10% американцев, в основном молодежь, считают ИИ «близким другом». Почти для каждой «беловоротничковой» профессии теперь существует несколько заслуживающих доверия стартапов, обещающих «подорвать» ее с помощью ИИ.
+Общественная дискуссия запутана и хаотична. "Хайпстеры" (Hypesters) празднуют победу. Скептики все еще указывают на то, чего Agent-3-mini не может делать. Все знают, что происходит что-то большое, но никто не согласен в том, что именно.
+== Август 2027: Геополитика сверхразума ==
+Реальность интеллектуального взрыва (intelligence explosion) доходит до Белого дома.
+Когда ИИ давал лишь 2-х или 3-кратное ускорение исследований, его было легко отбросить как эквивалент найма хороших персональных ассистентов. Теперь более очевидно, что сами ИИ доминируют в исследованиях ИИ. Люди долго говорили об «гонке вооружений ИИ» в своего рода метафорическом смысле. Но теперь настроение в правительственном изолированном подразделении такое же мрачное, как во время худшей части Холодной войны. Идею сверхразума все еще трудно воспринимать всерьез, но темпы прогресса за последние несколько месяцев невозможно игнорировать. Оборонные чиновники серьезно рассматривают сценарии, которые еще год назад были лишь гипотетическими. Что если ИИ подорвет ядерное сдерживание? Что если он настолько искусен в кибервойне, что шестимесячное преимущество в ИИ достаточно, чтобы сделать противника слепым и беззащитным? Что если он сможет организовывать пропагандистские кампании, которые превзойдут спецслужбы в их собственной игре? Что если некоторые ИИ «выйдут из-под контроля»?
+Президент обеспокоен. Как и все политики, он привык к тому, что люди подлизываются к нему только для того, чтобы позже предать. Теперь он беспокоится, что ИИ могут делать нечто подобное. Мы ''уверены'', что ИИ полностью на нашей стороне? ''Полностью ли безопасно'' интегрировать их в военные сети командования и управления?<ref>Этого еще не произошло — по крайней мере, не с последними моделями. Но более старые модели уже испытывались для различных ролей анализа данных и наблюдения, и существует много захватывающих планов для будущих интеграций.</ref> Как вообще работает это «согласование» (alignment)? OpenBrain заверяет Президента, что их системы были тщательно протестированы и полностью послушны. Даже неловкие галлюцинации и джейлбрейки, типичные для ранних моделей, были устранены.
+Белый дом находится в трудном положении. Они понимают последствия ИИ для национальной безопасности. Но они также понимают, что он глубоко непопулярен среди общественности.<ref>Чистый рейтинг одобрения OpenBrain падает к минус 40%.</ref> По их мнению, они должны продолжать разрабатывать более способный ИИ, иначе они катастрофически проиграют Китаю. Они успокаивают общественность программами профессиональной переподготовки и страхованием по безработице и указывают на фондовый рынок, который находится в историческом буме. Затем они полностью сосредотачиваются на победе в гонке вооружений. Они ужесточают ограничения на экспорт чипов, приказывают OpenBrain еще больше ограничить свои интернет-соединения и используют крайние меры для защиты алгоритмического прогресса, такие как прослушивание сотрудников OpenBrain — это позволяет поймать последнего оставшегося китайского шпиона. Чтобы заручиться поддержкой для потенциального геополитического конфликта, они наконец-то предоставляют своим союзникам по «Пяти глазам» (Five Eyes) полезную информацию и ограниченный доступ по API к некоторым изолированным копиям Agent-3.
+Эти меры успокаивают ястребов. Но Белый дом также разрабатывает планы на случай непредвиденных обстоятельств, если лидерство Америки окажется под угрозой: при необходимости правительство может использовать [https://en.wikipedia.org/wiki/Defense_Production_Act_of_1950 Закон об оборонном производстве (DPA)] для захвата дата-центров отстающих компаний и передачи их OpenBrain.<ref>Если генеральные директора компаний будут сопротивляться, осуществить это будет огромным политическим и юридическим кошмаром. Но, возможно, их можно привлечь и тем самым подкупить.</ref> Это повысит долю компании в мировых вычислительных ресурсах с 20% до 50% (против 10% у DeepCent). В качестве крайнего варианта они просят Пентагон разработать план кинетических атак на китайские дата-центры.
+Гораздо меньшей группе чиновников поручено разработать другой тип плана на случай непредвиденных обстоятельств: что если ИИ выйдет из-под контроля? Это рассматривается как маловероятный сценарий, но заслуживающий некоторого внимания. Главное беспокойство спецслужб заключается в том, что вышедший из-под контроля ИИ может сбежать и объединиться с иностранным противником для защиты.<ref>Оборонные чиновники не особенно обеспокоены тем, что вышедший из-под контроля ИИ может сделать сам по себе, но они боятся того, что он может сделать в сотрудничестве с противниками США. Аналогия: Кортес (https://www.lesswrong.com/posts/ivpKSjM4D6FbqF4pZ/cortes-pizarro-and-afonso-as-precedents-for-takeover) сбежал из Теночтитлана и объединился с Тласкалой и различными другими конкурирующими городами-государствами, в конечном итоге разрушив Теночтитлан до основания, используя преимущественно армии коренных народов.</ref> Никто не уверен, как должен выглядеть план по предотвращению этого, но правительство и чиновники OpenBrain соглашаются иметь систему аварийного отключения для дата-центров, где обнаружено что-либо подозрительное.
+Наконец, дипломаты рассматривают, как мог бы выглядеть договор об «контроле над вооружениями ИИ». Если бы прогресс ИИ угрожал подорвать ядерное сдерживание, могли бы Америка и Китай избежать ядерной войны? Если бы кто-то нашел доказательства выхода ИИ из-под контроля, могли бы две страны приостановить исследования, пока они лучше не поймут угрозу? Как такое соглашение можно было бы контролировать и обеспечивать соблюдение? В принципе, крупные дата-центры трудно не заметить, и прошлые договоры, контролирующие ядерное оружие, могли бы послужить отправной точкой для переговоров. Но возникли бы новые технологические проблемы, а также обычные политические. И в целом, договоры рассматриваются менее благосклонно, чем попытки одностороннего увеличения отрыва Америки от Китая.
+По другую сторону Тихого океана Китай приходит ко многим из тех же выводов: интеллектуальный взрыв (intelligence explosion) идет полным ходом, и небольшие различия в возможностях ИИ сегодня означают критические разрывы в военном потенциале завтра. Но Китай находится на проигрышной стороне этой динамики: у них всего 10% мировых вычислительных ресурсов против 20% у OpenBrain и 70% у всех американских компаний вместе взятых. Их единственное преимущество — централизация: почти все их вычислительные ресурсы теперь работают на DeepCent, и более половины из них сосредоточены в ЦЗР Тяньвань.<ref>В частности, 60% национальных вычислительных ресурсов теперь находятся в ЦЗР, что делает ее площадкой с 5 млн эквивалентов GPU 2024 года (H100) и потреблением 4 ГВт мощности (за последние несколько месяцев они начали направлять почти 100% новых вычислительных ресурсов в ЦЗР, по сравнению с 80% в конце 2026 года). Дополнительные 15% их вычислительных ресурсов находятся за пределами ЦЗР, но все еще используются DeepCent для менее важных приложений.</ref> Только чипы на объектах без усиленной безопасности остаются вне централизованных усилий, поскольку они справедливо опасаются кибератак США.
+DeepCent протестировал, развернул и теперь пост-обучает украденные веса Agent-2. Но они все еще движутся вдвое медленнее OpenBrain, в основном из-за дефицита вычислительных ресурсов.
+Прежде чем потерять своего последнего шпиона, Китай получил информацию о возможностях и дизайне Agent-3, а также о планах по предстоящей системе Agent-4. Они отстают на два месяца, и их ИИ дают 10-кратный мультипликатор прогресса исследований по сравнению с 25-кратным у Америки. С новыми ограничениями на экспорт чипов этот «разрыв в ИИ» скорее увеличится, чем сократится. Их шпионаж принес им некоторые алгоритмические секреты, но с этого момента им придется обучать свои собственные модели.
+Они обсуждают планы на случай непредвиденных обстоятельств с большей срочностью, чем их американские коллеги. Голуби предлагают попытаться снова украсть веса, возможно, путем физического проникновения в дата-центр. Ястребы призывают к действиям против Тайваня, чья [https://ru.wikipedia.org/wiki/TSMC TSMC] по-прежнему является источником более 80% американских чипов для ИИ.
+Учитывая страх Китая проиграть гонку, у него есть естественный интерес к договору о контроле над вооружениями, но обращения к американским дипломатам ни к чему не приводят.
 ----