模型边用边学：测试时训练如何改变 AI 推理成本与记忆机制

测试时训练让模型在回答提示词时就地做梯度更新，权重随使用而改变，从而把不断增长的 KV-cache 折叠为固定大小的权重，内存占用不再随上下文线性增长。斯坦福针对小模型的研究显示其推理速度最高可提升 2.7 倍，In-Place TTT 还能免重训把 4b 模型提升到有竞争力的 128k 上下文表现。