免训练投影器初始化方法PORTAL被提出

Fabian Gröger 等作者提出免训练投影器初始化方法 PORTAL：该方法不需要成对的图像-文本描述数据，也不依赖梯度优化，只使用各模态的汇总统计量来初始化多模态 LLM 的投影器。 据该研究称，多模态 LLM 的投影器训练阶段可能只需粗对齐——仅用 10% 至 20% 数据训练投影器即可恢复大部分下游性能增益，且不同数据集训练出的投影器可线性插值而基本保持性能。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。