arXiv：cs.CL（计算语言学，全量分类）· Takanori Kotama, Shun-ichiro Hayashi, Daichi Mukunoki, Tetsuya Hoshino, Takahiro Katagiri·· 3 小时前AI 评分37
NinaXander：通过共享潜在空间跨架构家族组合冻结语言模型的可行性与局限
NinaXander: Feasibility and Limits of Composing Frozen Language Models Across Architecture Families via a Shared Latent Space
AI 导读
NinaXander 用单个训练好的共享潜在适配器连接不同架构家族的冻结语言模型层，组合模型无需重训即可在不同层连接。用 RWKV-4-Raven-7B 与 Tulu-Pythia-6.9b 实验，Pythia 前 5 层加 RWKV 后 27 层的配置将 Transformer KV cache 减少 84.4%，准确率与单独 RWKV 无显著差异。
来源：arXiv：cs.CL（计算语言学，全量分类） · arxiv.org