Бюрократы, Администраторы интерфейса, Администраторы (Semantic MediaWiki), Администраторы, Редакторы виджетов, Редакторы
4567
правок
AI 2027 концовка по сценарию Гонки: различия между версиями
Перейти к навигации
Перейти к поиску
→Ноябрь 2027: Сверхчеловеческая политика
Rodion (обсуждение | вклад) |
Rodion (обсуждение | вклад) |
||
| Строка 37: | Строка 37: | ||
Почему механистическая интерпретируемость так сильно увеличит возможности? | Почему механистическая интерпретируемость так сильно увеличит возможности? | ||
Во-первых, градиентный спуск — алгоритм, используемый для обучения LLM — это процесс локального поиска, что означает, что он может делать только небольшие изменения, которые локально улучшают производительность. Процессы локального поиска иногда застревают в локальных минимумах, где производительность улучшается медленно, но вам нужно значительно изменить дизайн, чтобы увидеть большой прирост производительности. Например, в случае эволюции рассмотрите неоптимальный человеческий глаз. Учтите также, что размер человеческого мозга сильно ограничен размером родового канала. Механистическая интерпретируемость позволила бы оптимизацию на основе понимания, которая избегает локальных минимумов. | Во-первых, градиентный спуск — алгоритм, используемый для обучения LLM — это процесс локального поиска, что означает, что он может делать только небольшие изменения, которые локально улучшают производительность. Процессы локального поиска иногда застревают в локальных минимумах, где производительность улучшается медленно, но вам нужно значительно изменить дизайн, чтобы увидеть большой прирост производительности. Например, в случае эволюции [https://evolution-outreach.biomedcentral.com/articles/10.1007/s12052-008-0092-1 рассмотрите неоптимальный человеческий глаз]. Учтите также, что размер человеческого мозга сильно ограничен размером родового канала. Механистическая интерпретируемость позволила бы оптимизацию на основе понимания, которая избегает локальных минимумов. | ||
Во-вторых, мы знаем, что LLM по умолчанию часто изучают сложные эвристики для конкретных областей вместо алгоритмов общего назначения. Подумайте, насколько хуже LLM справляются с арифметикой, чем калькуляторы. LLM могут использовать калькуляторы как инструменты, но это влечет за собой задержки. При действительно хорошей интерпретируемости модели могут быть спроектированы с практически идеальными калькуляторами, «встроенными в их мозг». И простые арифметические операции, вероятно, не уникальны здесь: более сложные когнитивные операции, если их понять, вероятно, имеют более и менее обобщаемые формы, и более общие формы могут быть найдены с помощью подобного процесса. | Во-вторых, мы знаем, что LLM по умолчанию часто изучают сложные эвристики для конкретных областей вместо алгоритмов общего назначения. Подумайте, насколько хуже LLM справляются с арифметикой, чем калькуляторы. LLM могут использовать калькуляторы как инструменты, но это влечет за собой задержки. При действительно хорошей интерпретируемости модели могут быть спроектированы с практически идеальными калькуляторами, «встроенными в их мозг». И простые арифметические операции, вероятно, не уникальны здесь: более сложные когнитивные операции, если их понять, вероятно, имеют более и менее обобщаемые формы, и более общие формы могут быть найдены с помощью подобного процесса. | ||
}} | }} | ||