研究称GPT-6 Astra直改Qwen3.5权重修推理循环
先了解这件事
MIT CSAIL等团队的研究称，让GPT-6 Astra直接编辑Qwen3.5-0.8B的权重，只改动0.016%，就修复了该模型的推理循环问题，且无需梯度、无需训练，这一做法被称为Weight-Space Programming。 据Rohan Paul转述，Astra在Python notebook中取得权重，用50次练习题测试预算，发现模型会重复输出直到撞上长度上限，并将这一习惯追溯到2个层写入的单一内部信号，再从权重中减去该信号。研究称MATH-500从7.9%提升到48.1%，指令遵循提升约3倍；研究还称前沿LLM能从原始权重判断网络的训练目标，并能从零写出胜过PPO训练1亿步的小型游戏网络。 X用户马东锡NLP（@dongxi_nlp）另称数学能力最高提升6倍、指令遵循提升3倍，这些幅度为其自述，尚无独立验证，该做法也引发争议。
AI 根据报道生成 · 5 分钟前更新
事件进展
2 个进展
- 11月3日 04:15 · 2 篇报道提出Weight-Space Programming方法Thomas Wolf：GPT-6 Astra 直接改写模型权重
- 11月3日 03:28 · 4 篇报道用GPT-6 Astra改写Qwen3.5权重修loop引争议Rohan Paul：MIT 研究展示 GPT-6 Astra 直接编辑权重将 Qwen3.5-0.8B 的 MATH-500 从 7.9% 提到 48.1%
报道时间线
沿着报道，了解事件的不同侧面。
- Yuchen Jin研究称 GPT-6 Astra 可直接编辑 Qwen3.5-0.8B 权重提升数学能力
MIT CSAIL 等团队提出 Weight-Space Programming，让 GPT-6 Astra 直接读写神经网络权重。仅改动 Qwen3.5-0.8B 的 0.016% 权重，无需梯度或训练，MATH-500 从 7.9% 升至 48.1%，指令跟随提升 3 倍，并修复了官方模型卡警告的推理循环问题。博客：https://rikiyat.github.io/blog/weight-space-programming/
- Rohan PaulMIT 研究展示 GPT-6 Astra 直接编辑权重将 Qwen3.5-0.8B 的 MATH-500 从 7.9% 提到 48.1%
MIT 研究人员让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力，无需梯度或训练。Astra 在 Python notebook 中拿到权重，并用 50 次练习题测试预算，发现模型会重复输出直到撞上长度上限，将这一习惯追溯到 2 个层写入的单一内部信号，并从权重中减去该信号。
- Jerry Liu研究称 GPT-6 Astra 可原生读写模型权重，无训练提升 Qwen3.5-0.8B 数学能力
Jerry Liu 转发 Rikiya Takehi 等人（MIT CSAIL）的 Weight-Space Programming 研究：让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 权重以提升数学能力，仅改动 0.016% 的权重，无梯度无训练，修复了推理循环问题，MATH-500 从 7.9% 提到 48.1%，instruction following 提升约 3 倍。研究还称前沿 LLM 可从原始权重判断网络训练目标，并能从零写出胜过 PPO 训练 1 亿步的小型游戏网络。博客：https://rikiyat.github.io/blog/weight-space-programming/
- 马东锡 NLP用GPT-6 Astra改写Qwen3.5权重修loop引争议
有人用GPT-6 Astra直接改写Qwen3.5-0.8B仅0.016%的权重，修复其推理loop，数学最高提升6倍、指令遵循提升3倍，无需梯度或训练，称为Weight-Space Programming。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。