跳到正文
热点事件持续更新

研究:基于表征的TTA难救多模态LLM

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

一项 arXiv 机器学习论文指出,基于表征的测试时自适应(TTA)无法恢复多模态大语言模型(MLLM)在常见损坏下的准确率。作者称,即便离线使用目标数据、违反标准 TTA 假设,样本盲的特征对齐也只能带来边际提升。 作者将失败归因于 MLLM 的视觉 token 序列偏移近乎正交且遍布整个嵌入空间,而 CLIP 类模型在单一池化分类嵌入中拥有共享的域偏移方向。该结果界定了单编码器位置、样本盲、位置共享校正这类方法的能力上限。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.LG
    基于表征的测试时自适应为何无法拯救多模态 LLM

    研究发现,基于表征的测试时自适应(TTA)无法恢复多模态大语言模型(MLLM)在常见损坏下的准确率,即便离线使用目标数据、违反标准 TTA 假设,样本盲的特征对齐也只能带来边际提升。作者将失败归因于 MLLM 视觉 token 序列的偏移近乎正交且遍布整个嵌入空间,而 CLIP 类模型在单一池化分类嵌入中享有共享的域偏移方向。该结果界定了单编码器位置、样本盲、位置共享校正的能力上限。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。