跳到正文

#推理

今日 5 条
3月11日周三
3月6日周五
3月5日周四
3月4日周三
2月19日周四
  1. Together AI 研究与产品博客(RSS)48

    Together AI 的 CDLM 让扩散语言模型推理最高提速 14 倍且不牺牲质量

    Together AI 提出一致性扩散语言模型 CDLM,通过轨迹蒸馏、块级因果注意力与三项联合训练目标,让扩散语言模型在少步推理下保持质量,并支持精确的块级 KV 缓存。在 Dream-7B-Instruct 上,CDLM 将精炼步数减少约 4.1x–7.7x,GSM8K-CoT 延迟最高降低 11.2x,MBPP-Instruct 最高降低 14.5x,多数任务准确率变化很小。

2月14日周六
2月7日周六
12月18日周四
  1. Noam Shazeer76

    Noam Shazeer 宣布 Gemini 3 Flash 正式上线,称其将 Gemini 3 的 Pro 级推理能力压缩到延迟、效率和成本接近 Flash 级别的更精简模型中。他表示这是自己目前最喜欢使用的模型,延迟接近真实对话且智能深度不减。模型已在 API、Gemini App 和 Search 中可用,详情见 https://bit.ly/4pTo5YU。

    推荐理由:作者本人官宣发布,说明新模型如何在更低延迟和成本下保留 Pro 级推理能力及可用入口。

12月16日周二
12月5日周五
12月3日周三
  1. Mistral AI:News(网页)80

    Mistral 发布 Mistral 3 系列:含 Mistral Large 3 与 Ministral 3 小模型,全部 Apache 2.0 开源

    Mistral 发布新一代模型系列 Mistral 3,包括 Mistral Large 3(41B 激活、675B 总参数的 MoE 模型)和 Ministral 3 的 3B、8B、14B 三种小模型,全部以 Apache 2.0 许可开源。

    推荐理由:官方发布了完整模型规格、开源许可和部署路径,读者可以据此评估这批开源模型在自己的场景中是否可用。

12月2日周二
  1. OpenAI:Alignment 研究博客(RSS)42

    OpenAI 用稀疏自编码器潜在归因调试模型失准补全

    OpenAI 提出用稀疏自编码器(SAE)的潜在归因(latent attribution)方法,替代此前的两步模型对比法,来定位与失准行为因果相关的 SAE 潜在特征。在涌现失准案例中,该方法选出的 top-100 Δ-attribution 潜在特征比 Δ-activation 特征更能通过激活引导让模型远离或走向失准,平均失准变化也更大;研究还用 GPT-5 对引导后的补全打分。

11月20日周四
10月27日周一
  1. Thinking Machines Lab:官方博客(RSS)64

    Thinking Machines Lab 发布 On-Policy Distillation 方法:以更低成本逼近 RL 训练效果

    Thinking Machines Lab 发布 On-Policy Distillation 博客,提出用教师模型对学生模型自采样轨迹逐 token 计算反向 KL 奖励,把 RL 的 on-policy 优势与蒸馏的密集反馈结合。

    推荐理由:文章给出可复现的 on-policy distillation 配方和成本对比数据,读者可以据此判断它能否替代或补充现有 RL 与 SFT 训练流程。

9月29日周一
9月23日周二
9月10日周三
  1. Thinking Machines Lab:官方博客(RSS)66

    Thinking Machines Lab 解析 LLM 推理非确定性的真正成因并发布批不变 kernel

    Thinking Machines Lab 的 Horace He 发文指出,LLM 推理非确定性的主因不是并发加浮点误差,而是服务器负载变化导致 batch size 变化,使非批不变的 kernel 输出随批次改变。

    推荐理由:原文指出 LLM 推理不确定性的真正根源是批大小变化而非并发原子加,并给出可复现的批不变 kernel 方案。

7月21日周一
6月10日周二
4月26日周六