新方法仅需百对配对数据对齐双编码器

Julien Kordes 与 Reuben Dorent 发表论文，提出一种基于蒸馏最优传输的表征对齐方法：在两侧无配对数据充足、仅约 100–500 对配对样本的条件下，对齐两个独立预训练的单模态编码器。方法用与 N 个配对锚点的相似度把两个模态放入同一坐标系，以单个熵最优传输问题匹配两个点云，再把传输方案蒸馏成两个轻量编码器。 论文称，在 Flickr30k、MS-COCO 和 ChEBI-20 的图像-文本与分子-文本对齐任务上，相同锚点预算下该方法优于现有方法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。