Internalizer超网络为284B模型生成LoRA适配器

Peter Devine 等人在 arXiv 发表论文，提出 Internalizer——一种可移植的上下文到参数映射超网络。据论文，它能为冻结的 284B 参数 DeepSeek v4 Flash 生成文档专属 LoRA 适配器，目标规模比此前工作大两个数量级。 论文称，该超网络的大部分参数位于与模型无关的主干中，只为各基座模型保留薄薄的入口和出口层，因此可先在小模型上低成本训练，再迁移到大规模模型。训练完成后，单次前向即可把任意文档转成这类模型的适配器。 论文称生成的适配器可单独部署以提升速度，也可与文档一同放入上下文窗口以进一步提高准确率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。