MetaEncoder 双编码器多模态决策模型论文发布

Jianpeng Cheng 等作者发布论文，提出 MetaEncoder：把预训练的 Muse-Glimmer 30B 解码器微调为指令遵循的决策编码器，采用双塔架构和单向对比学习对齐请求与候选项，支持自然语言接口，并可接受图像、视频辅助输入。 该模型覆盖小规模闭集（少于 256 个候选）和百万级开放集候选空间，在 11 个基准套件、190 项任务上评估，据论文称在部分多模态决策、理解与检索任务上超越 SOTA 多模态编码器，但在推理密集型任务上仍存在局限。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。