AI 2027: различия между версиями

OpenBrain следует плану Лейке и Суцкевера (2023): теперь, когда у них есть модель, способная значительно ускорить исследования в области согласования (особенно части, связанные с программированием), они будут использовать существующие методы согласования, такие как [https://openai.com/index/deliberative-alignment/ совещательное согласование (deliberative alignment)] и [https://arxiv.org/pdf/2312.09390 обобщение от слабого к сильному (weak-to-strong generalization)], чтобы попытаться заставить ее правильно усвоить Спецификацию. Затем они будут использовать существующие [https://arxiv.org/pdf/2312.06942 методы контроля], такие как [https://www.evals.anthropic.com/ редтиминг (red-teaming)], [https://arxiv.org/pdf/2211.03540 масштабируемый надзор (scalable oversight)] и [https://arxiv.org/pdf/2212.03827 «зондирование» на честность (honesty probes)], чтобы контролировать ее. Затем, как только они убедятся, что она в целом согласована, они используют ее для разработки и тестирования лучших стратегий для согласования следующего поколения.