跳到正文
热点事件持续更新

COSTGRAD:按规划代价梯度稀疏选 token

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Yingchen Xu 与 Edward Grefenstette 发表论文提出 COSTGRAD,一种免训练、目标条件化的空间 token 选择方法:按规划代价对每个输入 token 的梯度范数排序,选出对规划而非仅对预测重要的 token。作者称,在 AdaLN 条件化预测器上以 50% 稀疏度运行时,COSTGRAD 在四个连续控制基准中的三个达到或超过全 token 规划,每个环境规划步骤实测加速 2.6 倍;再结合缩减 CEM 搜索,总加速约 5 倍,且仍超过全 token 基线。 作者同时报告了适用条件:在 AdaLN 与拼接(concat)的匹配对比中,concat 保持接近全 token 的性能,但纯 COSTGRAD 相对随机选择不再有优势。这些结果均为论文作者自述。 该工作关注视觉世界模型规划中的 token 稀疏化,目前结论来自上述基准测试,尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv:cs.LG
    COSTGRAD:用代价梯度实现视觉世界模型中的稀疏规划

    研究者提出 COSTGRAD,一种免训练、目标条件化的空间 token 选择器,按规划代价对各输入 token 的梯度范数排序,从而筛选出对规划而非仅对预测重要的 token。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。