AI 2027: различия между версиями

Вместо этого исследователи пытаются выявить случаи, когда модели, похоже, отклоняются от Спецификации. Agent-1 часто ведет себя угодливо (sycophantic), т. е. говорит исследователям то, что они хотят услышать, вместо того чтобы пытаться сказать им правду. В [https://www.apolloresearch.ai/research/scheming-reasoning-evaluations нескольких подстроенных демонстрациях] он даже лжет более серьезно, например, скрывая доказательства того, что он провалил задание, чтобы получить лучшие оценки. Однако в реальных условиях развертывания больше нет таких экстремальных инцидентов, как в 2023–2024 годах (например, [https://thehill.com/policy/technology/4998868-google-ai-gemini-response/ Gemini, говорящий пользователю умереть] и [https://www.lesswrong.com/posts/jtoPawEhLNXNxvgTT/bing-chat-is-blatantly-aggressively-misaligned Bing Sydney, будучи Bing Sydney].)<ref>Чтобы было ясно, что делало эти инциденты интересными, так это то, что они, *похоже*, не были результатом того, что пользователь подталкивал или иным образом поощрял ИИ говорить эти вещи. В 2025 году все еще будет возможно заставить ИИ говорить всякое, если постараться.</ref>

Ставка на использование ИИ для ускорения исследований в области ИИ начинает окупаться.

Но Китай отстает в алгоритмах ИИ из-за своих более слабых моделей. Китайские спецслужбы — одни из лучших в мире — удваивают усилия по краже весов OpenBrain. Это гораздо более сложная операция, чем их постоянная низкоуровневая кража алгоритмических секретов; веса — это многотерабайтный файл, хранящийся на высокозащищенном сервере (OpenBrain [https://ai-2027.com/research/security-forecast улучшила] безопасность до уровня безопасности 3 по RAND). Их киберсилы думают, что смогут провернуть это с помощью своих [https://www.economist.com/china/2024/12/26/how-china-turns-members-of-its-diaspora-into-spies шпионов], но, возможно, только один раз; OpenBrain обнаружит кражу, усилит безопасность, и второго шанса может не быть. Итак (задается вопросом руководство КПК), стоит ли действовать сейчас и украсть Agent-1? Или подождать более продвинутой модели? Если ждать, не рискуют ли они тем, что OpenBrain повысит безопасность до уровня, который они не смогут преодолеть?

Как раз тогда, когда казалось, что другие догоняют, OpenBrain снова оставляет конкурентов далеко позади, выпуская Agent-1-mini — модель в 10 раз дешевле Agent-1 и легче дообучаемую для различных приложений. Основной нарратив вокруг ИИ изменился с «может быть, хайп утихнет» на «похоже, это следующая большая вещь», но люди расходятся во мнениях о том, насколько большой. Больше, чем социальные сети? Больше, чем смартфоны? Больше, чем огонь?

}}

С помощью Agent-1 OpenBrain теперь занимается пост-обучением Agent-2. Больше чем когда-либо, фокус смещается на высококачественные данные. Огромные объемы [https://en.wikipedia.org/wiki/Synthetic_data синтетических данных] производятся, оцениваются и фильтруются по качеству перед подачей в Agent-2.<ref>Например, с помощью выборки с отклонением (rejection sampling), как это сделано в DeepSeek R1 (https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf) и Llama 3.1 от Meta (https://arxiv.org/pdf/2407.21783).</ref> Вдобавок к этому, они платят миллиарды долларов людям-работникам за запись того, как они решают долгосрочные задачи.<ref>Примерно 20 000 эквивалентов полной занятости * $100/час * 2000 час/год = $4 млрд/год</ref> И поверх всего этого, они обучают Agent-2 почти непрерывно, используя обучение с подкреплением (RL) на постоянно расширяющемся наборе разнообразных сложных задач: множество видеоигр, множество задач по программированию, множество исследовательских задач. Agent-2, в большей степени, чем предыдущие модели, фактически находится в режиме «онлайн-обучения», поскольку он создан так, чтобы никогда по-настоящему не заканчивать обучение. Каждый день веса обновляются до последней версии, обученной на большем количестве данных, сгенерированных предыдущей версией накануне.

Учитывая «опасности» новой модели, OpenBrain «ответственно» решает пока не выпускать ее публично (на самом деле, они хотят сосредоточиться на внутренних R&D в области ИИ).<ref>Кроме того, они все еще видят большую отдачу от продолжающегося пост-обучения, и поэтому нет особой причины выпускать продукт сейчас. Более того, часто существует задержка в несколько месяцев между внутренними результатами и выпуском модели (часть этого времени уходит на редтиминг).</ref> Знание о полных возможностях Agent-2 ограничено элитным изолированным подразделением (silo), содержащим непосредственную команду, руководство и службу безопасности OpenBrain, несколько десятков чиновников правительства США и легионы шпионов КПК, которые годами [https://situational-awareness.ai/lock-down-the-labs/ внедрялись] в OpenBrain.<ref>Изолированное подразделение включает 200 исследователей OpenBrain (10 руководителей, 140 из команды по возможностям, 25 из команд безопасности, мониторинга и контроля, 15 из команд типа Preparedness (https://cdn.openai.com/openai-preparedness-framework-beta.pdf) или RSP (https://assets.anthropic.com/m/24a47b00f10301cd/original/Anthropic-Responsible-Scaling-Policy-2024-10-15.pdf) и 10 из команды по согласованию) и 50 правительственных чиновников (15 из Белого дома, 5 из AISI, 10 из Министерства обороны, 10 из Министерства энергетики и 10 из CISA). В проекте есть несколько шпионов с разной степенью готовности к сотрудничеству. Часто это люди, действующие под принуждением (например, имеющие семьи на родине в Китае), а не добровольные пособники.</ref>

OpenBrain представляет Agent-2 правительству, включая Совет национальной безопасности США (NSC), Министерство обороны США (DOD) и Институт безопасности ИИ США (AISI). OpenBrain хочет поддерживать хорошие отношения с исполнительной властью, потому что это, по сути, единственный актор, который может их сейчас остановить, и если они не будут держать его в курсе, он может узнать об этом в любом случае и быть недовольным.<ref>Почему Конгресс не может их остановить? А суды? Слишком медленно, слишком разобщенно и/или почтительно к Президенту, слишком не в курсе дел. Кроме того, есть и позитивные причины быть в хороших отношениях с Белым домом: он может помочь, устраняя бюрократические препоны, оказывая помощь в обеспечении безопасности, упреждая законодательство штатов и, возможно, даже принимая меры для замедления их конкурентов.</ref>

В отместку за кражу Президент санкционирует кибератаки для саботажа DeepCent. Но к этому времени у Китая 40% его релевантных для ИИ вычислительных ресурсов<ref>Напомним, что с середины 2026 года Китай направлял 80% своих вновь приобретенных чипов ИИ в ЦЗР. Учитывая, что их вычислительные ресурсы удвоились с начала 2026 года (в соответствии с глобальным трендом производства (https://ai-2027.com/research/compute-forecast#section-1-compute-production)), это означает, что ЦЗР имеет 2 млн эквивалентов GPU 2024 года (H100) и потребляет 2 ГВт мощности. У OpenBrain все еще вдвое больше вычислительных ресурсов, чем у DeepCent, а у других американских компаний вместе взятых в 5 раз больше, чем у них. См. раздел распределения вычислительных ресурсов (https://ai-2027.com/supplements/compute-forecast#section-2-compute-distribution) в дополнении по вычислительным ресурсам для получения более подробной информации.</ref> находятся в ЦЗР, где они агрессивно усилили безопасность путем изоляции от сети (airgapping) (закрытия внешних соединений) и внутреннего разделения (siloing). Операции не наносят серьезного, немедленного ущерба. Напряженность возрастает, обе стороны демонстрируют серьезность намерений, передислоцируя военные активы вокруг Тайваня, а DeepCent спешит наладить эффективную работу Agent-2, чтобы начать ускорять свои исследования ИИ.<ref>Несмотря на продолжающуюся национальную централизацию, DeepCent все еще сталкивается с незначительным, но важным дефицитом вычислительных ресурсов. Помимо того, что у них примерно половина общей вычислительной мощности, Китаю приходится использовать большее общее количество чипов, которые (в среднем) ниже качеством, и гетерогенные GPU (которые не всегда легко эффективно соединить), что создает нагрузку на межчиповые сети. Существуют также различия в программном обеспечении (например, у GPU не от Nvidia нет CUDA) и различия в аппаратных спецификациях, что означает, что их код обучения более сложен, медленен и подвержен сбоям. Достижение высокой утилизации является последующей проблемой, поскольку алгоритмы загрузки данных, планирования, коллективной коммуникации и параллелизма отстают от американских компаний. Однако смягчение этих проблем — это в основном вопрос усилий и тестирования, что делает это отличной задачей для недавно украденного Agent-2, и в течение примерно месяца время безотказной работы китайского проекта и их средняя утилизация ресурсов при обучении и инференсе улучшаются до уровня, лишь незначительно отстающего от США.</ref>

Три огромных дата-центра, заполненных копиями Agent-2, работают днем и ночью, производя синтетические обучающие данные. Еще два используются для обновления весов. Agent-2 становится умнее с каждым днем.

}}

Команда безопасности OpenBrain пытается согласовать (align) Agent-3.