跳到正文

全部动态

今日 44 条
12月2日周二
  1. OpenAI:Alignment 研究博客(RSS)42

    OpenAI 用稀疏自编码器潜在归因调试模型失准补全

    OpenAI 提出用稀疏自编码器(SAE)的潜在归因(latent attribution)方法,替代此前的两步模型对比法,来定位与失准行为因果相关的 SAE 潜在特征。在涌现失准案例中,该方法选出的 top-100 Δ-attribution 潜在特征比 Δ-activation 特征更能通过激活引导让模型远离或走向失准,平均失准变化也更大;研究还用 GPT-5 对引导后的补全打分。

11月24日周一
11月20日周四
11月1日周六
  1. BAIR:Berkeley AI Research Blog47

    无需 TD 学习的强化学习:用分治法扩展 off-policy RL

    伯克利 AI 研究博客提出一种不依赖时序差分(TD)学习的 off-policy RL 新范式——分治法,通过将轨迹对半切分并组合子段价值来更新价值函数,理论上把 Bellman 递归次数从线性降为对数级。该工作与 Aditya 合作,首次将分治价值学习扩展到目标条件 RL 中的高复杂度任务,且无需像 n-step TD 那样调节超参数 n。目前仍待解决的是如何选取最优子目标 w。

10月29日周三
10月27日周一
  1. Thinking Machines Lab:官方博客(RSS)64

    Thinking Machines Lab 发布 On-Policy Distillation 方法:以更低成本逼近 RL 训练效果

    Thinking Machines Lab 发布 On-Policy Distillation 博客,提出用教师模型对学生模型自采样轨迹逐 token 计算反向 KL 奖励,把 RL 的 on-policy 优势与蒸馏的密集反馈结合。

    推荐理由:文章给出可复现的 on-policy distillation 配方和成本对比数据,读者可以据此判断它能否替代或补充现有 RL 与 SFT 训练流程。

10月20日周一
10月13日周一
9月29日周一
9月28日周日
9月26日周五
  1. Thinking Machines Lab:官方博客(RSS)45

    Thinking Machines Lab 提出模块化流形与流形版 Muon 优化器

    Thinking Machines Lab 提出将神经网络各层权重约束在子流形上的思路,并给出权重约束在 Stiefel 流形(条件数为 1 的矩阵流形)上的流形版 Muon 优化器,该工作基于 Jianlin Su 与 Franz Louis Cesista 的研究。文章还提出"模块化流形"概念,即一种可组合流形,目标是让大型网络的扩展与训练更容易,并希望社区在文末列出的方向上继续推进。

9月23日周二
9月1日周一
  1. BAIR:Berkeley AI Research Blog50

    word2vec 究竟学到了什么?BAIR 给出闭式学习理论

    BAIR 新论文证明,在若干温和近似下 word2vec 的学习问题可化简为无权重最小二乘矩阵分解,梯度流动力学有闭式解,最终学到的表示就是 PCA。从小初始化训练时,word2vec 按离散步骤逐个学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,这些特征即目标矩阵 M* 的顶部特征向量,可由语料统计与超参数预先算出。

8月30日周六
6月5日周四
3月24日周一
2月26日周三
8月21日周三