Что такое программирование весов
Обычно поведение нейросети меняют обучением: собирают данные, считают градиенты, ждут. Авторы предлагают другой путь — дать сильной языковой модели сами веса сети как набор чисел и попросить работать с ними как с кодом: прочитать, найти дефект и поправить.
В восьми экспериментах модель GPT-6 Astra делала это без градиентного спуска, без инструментов и без специально обученных помощников. Авторы назвали подход Weight-Space Programming — программированием в пространстве весов.
Четыре эксперимента
- Узнать задачу по весам. Модели по очереди дали веса четырёх игровых политик с одинаковой архитектурой, входами и действиями. Без подсказок она верно назвала все четыре игры: Breakout, Pong, Pac-Man и Freeway.
- Починить сеть. Политика управления машиной застревала на подъёме. По весам, описанию сцены и одной неудачной траектории модель за один ответ написала правку 3,5% весов — после неё задача решалась во всех попытках.
- Написать с нуля. По правилам и коду игры Breakout модель сразу выписала веса сети, которая набрала в 20 раз больше очков, чем политика PPO после 500 млн шагов обучения.
- Улучшить другую LLM. Маленькая Qwen3.5-0.8B известна тем, что зацикливается в рассуждениях. За 50 прогонов на тренировочных задачах модель нашла причину и поправила 0,016% весов: по данным авторов, математика выросла до шести раз, следование инструкциям — до трёх.
Как это перепроверили
Сильнее самой статьи убеждает то, что результат начали воспроизводить. Один из участников обсуждения на alphaXiv применил опубликованную правку к Qwen3.5-0.8B и получил близкие цифры.
Данные независимого воспроизведения из обсуждения статьи на alphaXiv, не из самой работы.
Другой участник повторил первый эксперимент с моделями Claude: Opus 5.5 тоже узнал все четыре игры, даже без описания среды, а модели младше не узнали ни одной. Значит, способность есть только у самых сильных моделей.
Почему пока рано радоваться
- Подсказка в задании. В запросе к модели прямо упоминалось, что малая модель часто повторяется и не заканчивает ответ. Без такой подсказки результат пока не проверяли.
- Знание вместо понимания. Возможно, модель переносит в веса известные эвристики или видела похожие сети при обучении, а не рассуждает о конкретных весах.
- Нечестное сравнение. Сравнивать с PPO, которая учится с нуля, — значит сравнивать разные задачи. Авторы сами называют работу демонстрацией и готовят бенчмарк и харнесс для систематической проверки.
Что это значит на практике
Для небольших моделей, которые компании запускают у себя в контуре, это потенциально дешёвый способ чинить известные дефекты поведения — вроде зацикливания — без сбора данных и дообучения. Пока это исследовательская демонстрация, а не инструмент: ждём бенчмарка и независимых проверок на других моделях.