原生多模态预训练扩展规律研究
热点事件历史事件
原生多模态预训练扩展规律研究
2 篇报道1 个报道来源21 天前更新
先了解这件事
AI 综述
一项研究在固定算力预算下考察原生多模态 Transformer 的最优模型规模与 token 分配，报告最小目标损失遵循可预测的算力定律，算力最优的模型规模与 token 数量呈幂律关系，且语言与多模态目标的分配趋势并不一致；还提出增加多模态 token 预算可抵消视觉信息带来的文本效率损失的补偿规则。上述结论来自论文自身报告，尚待同行评议与独立复现。 后续一项受控消融实验进一步发现，将图像嵌入替换为无内容填充嵌入后，保留视觉内容能在图文样本上改善文本预测，但不实质性改变同等算力下的最低纯文本损失；多模态损失的相对收益随算力近似呈幂律增长，视觉增益在定位、导航和符号规划任务上最持续，在空间关系与物理常识方面则不太一致。
AI 根据报道生成 · 20 天前更新
最新进展10月15日 12:00
视觉内容是多模态预训练的可扩展锚点：超越图像理解的研究事件进展
2 个进展
- 10月15日 12:00 · 1 篇报道发布原生多模态预训练视觉锚点研究arXiv：cs.CL：视觉内容是多模态预训练的可扩展锚点：超越图像理解的研究
- 10月9日 12:00 · 1 篇报道原生多模态预训练从零训练的扩展规律研究arXiv：cs.CL：从零开始的原生多模态预训练扩展规律研究
报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.CL视觉内容是多模态预训练的可扩展锚点：超越图像理解的研究
一项受控消融实验发现，原生多模态预训练中将图像嵌入替换为无内容填充嵌入后，保留视觉内容能在图文样本上改善文本预测，但不实质性改变同等计算预算下的最低纯文本损失。多模态损失的相对收益随计算量近似呈幂律增长，且视觉增益在定位、导航和符号规划任务上最为持续，空间关系与物理常识方面则不太一致。
10月9日
- arXiv：cs.CL从零开始的原生多模态预训练扩展规律研究
研究在固定算力预算下探究 Transformer 视觉语言模型的最优模型规模与 token 数量，发现最小目标损失遵循可预测的算力定律，算力最优的模型规模与 token 数量呈幂律缩放，且语言与多模态目标的分配趋势存在差异。分析还得出预算补偿规则：额外的多模态 token 预算可抵消视觉信息带来的文本效率损失；下游评测显示原生多模态预训练与空间推理及多模态少样本学习能力提升相关。