DuoOPD:基于师生联合结果的多任务在线策略蒸馏
DuoOPD 提出一种多任务在线策略蒸馏方法,由学生结果决定反馈方向、师生联合结果决定教师如何支持:仅教师答对时用其答案作为评分上下文,仅学生答对时按任务内共享权重强化整个回答。在 Qwen3 和 Llama 上,其平均宏准确率超越全部五个基线,较 OPD 分别提升 2.58 和 5.98 个百分点,并在科学计算、指令遵循与代码生成等任务混合上领先。消融显示,联合结果设计贡献了主要增益。
DuoOPD 提出一种多任务在线策略蒸馏方法,由学生结果决定反馈方向、师生联合结果决定教师如何支持:仅教师答对时用其答案作为评分上下文,仅学生答对时按任务内共享权重强化整个回答。在 Qwen3 和 Llama 上,其平均宏准确率超越全部五个基线,较 OPD 分别提升 2.58 和 5.98 个百分点,并在科学计算、指令遵循与代码生成等任务混合上领先。消融显示,联合结果设计贡献了主要增益。
LongLive-Plug 面向视频生成的一次性通用蒸馏 论文:https://huggingface.co/papers/2609.38154
Transluce 训练激活预言机,用于分析模型内部激活以检测其行为,并扩展到最高 1.1T 参数的模型(包括 Kimi-K2.6 INT4),发现性能随模型规模、数据规模和数据质量提升。预言机在预测语言切换、检测编程智能体 reward hacking 等任务上取得成功,并采用全层激活读取架构,结合 LoRA 微调在 8xB200 上完成训练。
Prime Intellect 发布 OpenDiLoCo,一个对 DeepMind DiLoCo 方法的开源实现与扩展,代码见 https://github.com/PrimeIntellect-ai/OpenDiLoCo,论文见 https://arxiv.org/abs/2407.07852。
Prime Intellect 通过对合成推理轨迹做微调来改进在线强化学习的策略初始化,训练出 7B 数学推理模型 INTELLECT-MATH,在多个数学推理基准上超过 Eurus-2-7B-PRIME,并以 10 倍更少的 GPU 小时达到同等性能(47 步 RL 对比 592 步)。
Prime Intellect 推出 SYNTHETIC-1,基于 DeepSeek-R1 生成 140 万条覆盖数学、编程、软件工程、STEM 和合成代码理解的任务与验证器,目标是构建最大的开源验证推理数据集。
Prime Intellect 开源首个 general-agent 环境,用 Synthesizer 与 Solver 双智能体博弈合成任务,目前包含 4,504 个任务、覆盖 1,040 个领域和 8,000 多个工具。每个任务由数据库、工具集、指令和带验证函数的 gold solution 构成,任务按难度分层进化,仅通过率落在校准难度区间的任务被采纳。
Prime Intellect 发布研究文章,提出在 RL 训练中同时用 SFT(正恒定优势、无额外前向开销)让模型预测工具输出,即 ECHO 方法。
ARC Prize 官方公布 2024 年获奖名单并发布技术报告,共 1,430 支团队提交 17,789 份方案,大奖仍未被认领。the ARChitects 以 53.5% 获第一名并获 2.5 万美元,Kaggle 竞赛期间 ARC-AGI-1 SOTA 从 33% 升至 55.5%(MindsAI 因未开源不符获奖资格)。
ARC Prize 介绍 2024 年 ARC Prize 竞赛末期两个登上 ARC-AGI 公开榜单新 SOTA 的开源方案。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源 TTS 模型的可懂度、速度和说话人相似度,将评估周期从数周缩到数小时。
Zyphra 推出面向持续增长训练语料的增量模糊去重系统 PUFFER,在十小时吞吐测试中处理最多 10 亿文档,较现有 CPU 去重方法提速 11x-35x,单进程 1.75 小时可摄入 10 亿文档,已在超 300 亿文档的生产环境部署,并以 Apache 2.0 开源。
Prime Intellect 在 nanoGPT optimizer speedrun 上开展 153 次自主运行、覆盖 18 个前沿模型,每次运行使用 8xH200s、最长持续八天,baseline 为 3,290 steps,人类纪录为 2,600。
推荐理由:实验规模和全部 trace 公开,模型差距主要来自实验执行而非想法本身,这个发现值得一看。
论文介绍 Raven,一个开源多智能体生态,可针对特定模型与领域自动构建并演进模块化 harness,把每个可执行的模型-harness 组合视为可组合的智能单元。
IBM Research 与 Hugging Face 在 ALTK-Evolve 中推出一致性指南和 Consistency Analyzer,用于诊断和改善智能体重复运行的不稳定性。
推荐理由:原文给出一致性差距的量化诊断方法与开源实现,读者可据此评估和改进智能体在重复运行下的可靠性。
Hugging Face 与 Voice Arena 合作,在 Open ASR Leaderboard 引入 Monsoon en-IN 和 Monsoon hi-IN 两套评测集,其中印地语是该多语言榜单首个印度语言。
微软研究院发布深度学习交换关联泛函 Skala 1.1,训练数据比首个公开版本多 2.5 倍,在 GMTKN55 的 55 个类别中 32 项排名第一,加权平均误差 2.8 kcal/mol,精度超过当前领先的全局(范围分离)杂化泛函而保持半局域泛函的计算成本。
Import AI 469 介绍了新基准 DiG-bench(Discovery in Games),用 70 款规则与目标均隐藏的手工游戏测试 AI 自主发现环境规律的能力,目前仅公开 21 款。
Hugging Face 组织的 ICML 2026 Open Reproductions 挑战赛(7 月 15 日至 8 月 2 日)中,1,221 名社区成员用 Claude Code。
推荐理由:原文复现了 ICML 2026 约三分之一的论文并给出具体的证伪案例,读者可以借此了解智能体驱动大规模同行审查的可能与局限。
最新论文《Efficient Knowledge Distillation for LLMs》提出离线 top-K logits 缓存与融合分块 KL 损失两项改动,让教师模型无需与学生同时驻留显存,也不再生成完整的词表×序列长度矩阵。
IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 框架扩展出 MLX 后端,并设计结构化 CUDA-to-MLX 翻译层,让进化式内核搜索把已有 CUDA 内核当作知识库适配到 Apple Silicon。
推荐理由:K-Search 把 CUDA 内核优化经验迁移到 Apple Silicon,读者可了解跨平台内核搜索的方法与实测数据。
ENPIRE -> ASPIRE,我们 Physical AutoResearch 系列的第二项工作。我们正在构建机器人自我改进的组件,一次一个 /skill。
Today, we give robots a /skills library that self-evolves and compounds indefinitely! Introducing ASPIRE: a robot solving its 100th task is no longer as clueless as solving its first. Coding agents observe multimodal sensory traces from simulation and real robots, launch an evolutionary search over control programs, and distill the best know-how into an ever-expanding library. ASPIRE is a new type of continual learning: "training" is skill refinement instead of gradient descent. "Trained model" is a repo of sensorimotor skills instead of floating weights. “Distributed training” is a panel of agents each practicing a different skill instead of sharded minibatches. Here's the beauty: ASPIRE gives the tired terms "sim2real transfer" and "cross-embodiment transfer" a whole new meaning. Bridging the sim-to-real gap is notoriously brutal. An end-to-end policy has to swallow both the visual shift (sim looks toyish next to a real camera) and the subtle contact physics it never quite gets right. ASPIRE sidesteps the mess, because it doesn't ship pixels or weights across the gap, but ships the know-how. The robot still has to practice in the real world, not zero-shot, but it gets there way faster because it isn't rediscovering the strategy from scratch. Same for going single-arm to bimanual hardware, which usually requires new data and retraining from zero. ASPIRE achieves up to ~10x cut in "transfer learning” tokens (yes, tokens are the new unit of *training* compute ;) Check out our gallery of 150+ tasks and 90+ skills the robots taught themselves, all on the website! Kind of wild that we can ship the "learned weights" as an HTML page rather than a GGUF. We'll open-source the full stack so your own robot library starts compounding from ours! Deep dive in thread:
阿里巴巴开源 atrex-bench,一个面向 AI 生成 GPU kernel 的端到端基准,取材自真实生产 trace。它要求把 PyTorch 参考实现改写为 Triton、Gluon、FlyDSL、CuteDSL 等 DSL kernel,并从编译、数值正确性和 speed-of-light 效率三个维度评分,同时覆盖 AMD 与 NVIDIA GPU。
Ahead of AI 发布 2026 年 1 月至 5 月的 LLM 研究论文精选清单,按架构与模型设计、高效训练与扩展、推理效率与 KV Cache、稀疏注意力与长上下文、推理与测试时计算、强化学习与 RLVR、智能体系统与工具使用、编码智能体与软件工程、扩散语言模型、模型评估与基准等类别整理。
Hugging Face 上线 cadgenbench,一个面向 AI 驱动 CAD 生成与编辑的基准。该仓库用于评测模型在 CAD 生成与编辑任务上的表现,具体指标与数据集细节尚未在现有信息中披露。
Google Research 提出 MoGen 神经元形态生成模型,用合成神经元形状增强 PATHFINDER 重建模型的训练数据,将小鼠轴突重建误差降低 4.4%,主要来自合并错误的减少。
蚂蚁 inclusionAI 在 GitHub 开源 TC-AE,这是论文《TC-AE: Unlocking Token Capacity for Deep Compression Autoencoders》的官方代码仓库。该工作聚焦深度压缩自编码器,通过解锁 Token 容量提升其能力。
Together AI 与 CMU、普林斯顿、Cartesia AI 等机构合作推出 Mamba-3,一个以推理效率为首要目标的状态空间模型。
上海人工智能实验室 InternLM 项目开源了 Spark,这是论文《SPARK: Synergistic Policy And Reward Co-Evolving Framework》的官方实现,将策略与奖励的协同演化整合进同一框架。