研究者提出ViT分布偏移下的晚期集中token削减调度
热点事件持续更新
研究者提出ViT分布偏移下的晚期集中token削减调度
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Hyeongheon Cha 等研究者提出一种单参数、后置集中的幂律 token 削减调度，用于视觉 Transformer（ViT）在分布偏移下的免训练 token 削减，且不增加额外推理成本。 在 ImageNet-C 基准上，该调度使 DeiT-S 在减少 26% 计算量时将分布外精度差距缩小 83%（+1.17pp）；在减少 7% 计算量时缩小 99%（+0.26pp）。研究者称其相对均匀（flat）调度能持续提升分布外精度。
AI 根据报道生成 · 2 小时前更新
最新进展10月7日 12:00
Later Is Better：分布偏移下 ViT 的 token 削减调度策略报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv：cs.AILater Is Better：分布偏移下 ViT 的 token 削减调度策略
研究者提出一种单参数、后置集中的幂律 token 削减调度，在 ImageNet-C 上让 DeiT-S 在减少 26% 计算量时将分布外精度差距缩小 83%（+1.17pp），减少 7% 计算量时缩小 99%（+0.26pp）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。