Dongxi 东锡 NLP· @dongxi_nlp · X·· 2 小时前AI 评分40
AI 导读
有人用GPT-6 Astra直接改写Qwen3.5-0.8B仅0.016%的权重，修复其推理loop，数学最高提升6倍、指令遵循提升3倍，无需梯度或训练，称为Weight-Space Programming。
正文 · 原文
非常有启发！但... 难道不像 LLM 的贺建奎么？
方法中看到了 activation steering 的影子：先找到模型某种倾向对应的激活方向，比如文中让模型算题停不下来的 loop 问题。
作者没有往模型里加一个 steering vector，而把写入这个方向最多的 128 列权重里的对应分量投影掉了。
评估使用的 MMLU-Pro、GPQA、IFEval 等确实都有提升，但这些 benchmark 原本都受 loop 影响，loop 修好了，分数当然全面提升。
问题是，副作用呢？
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://rikiyat.github.io/blog/weight-space-programming/在 X 查看被引用的帖子
来源：Dongxi 东锡 NLP · x.com