ITO图文预训练框架发布：同条件提升CLIP

Hanpeng Liu等人在arXiv发布论文，提出图文预训练框架ITO，通过多模态多重对齐和训练时融合两个机制改进图文对比预训练：让表征按语义而非模态组织，融合模块在推理时丢弃以保持双编码器效率。 在100M–1B图文对规模下，作者称在相同数据、骨干和算力下，ITO相较CLIP在分类、检索和多模态基准上取得一致提升；对照实验显示增益并非来自额外训练算力或图像增强。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。