研究对比两类 MLLM 融合路径

一项 arXiv 论文对比了拼接架构与原生多模态两类 MLLM 的视觉-文本融合机制，结论是两者走的是不同路径：拼接模型遵循“文本优先、视觉在后”，原生模型则更早出现视觉-文本协同适应与特征空间重组。 研究通过对齐解耦、注意力路由与熵、内在维度三项递进分析及因果干预实验得出上述结论，并以 visual CKA 作为补充分析检验柏拉图表示假说。作者称这为多模态融合提供了机制性视角，并支持架构感知的多模态表示诊断。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。