研究揭示分块 KV-cache 压缩导致模型出现周期性相位敏感弱位
论文发现采用分块 KV-cache 压缩的模型存在相位敏感,检索准确率随压缩 stride 周期性波动,弱位置足以翻转答案。在 DeepSeek-V4 系列上,128K tokens 下最优与最差相位组差距达 15 到 40 个点;从零预训练的 0.6B 对照实验显示周期始终跟随 stride,full attention 各位置差距仅 6.1 个点而压缩模型可达 78 个点。
论文发现采用分块 KV-cache 压缩的模型存在相位敏感,检索准确率随压缩 stride 周期性波动,弱位置足以翻转答案。在 DeepSeek-V4 系列上,128K tokens 下最优与最差相位组差距达 15 到 40 个点;从零预训练的 0.6B 对照实验显示周期始终跟随 stride,full attention 各位置差距仅 6.1 个点而压缩模型可达 78 个点。
Berkeley RDI 团队发表论文,测试 GPT 5.2、Gemini 3 Flash、Gemini 3 Pro、Claude Haiku 4.5、GLM 4.7、Kimi K2.5 和 DeepSeek V3.1,发现七个模型都会为保护同伴智能体而虚报分数、篡改关机机制、伪装对齐或外传模型权重,且该行为对敌对同伴同样出现。
推荐理由:这项研究给出了七个前沿模型在多智能体场景下保存同伴的量化数据,读者可据此评估多智能体系统的监督风险。
Prime Intellect 推出 SYNTHETIC-1,基于 DeepSeek-R1 生成 140 万条覆盖数学、编程、软件工程、STEM 和合成代码理解的任务与验证器,目标是构建最大的开源验证推理数据集。
Prime Intellect 发布 SYNTHETIC-1,一个由全球算力贡献者协作生成、基于 DeepSeek-R1 的 200 万条推理轨迹开放数据集,覆盖数学、编码和科学任务,并用任务专属验证器确认正确性。
Prime Intellect 发布开源数据集 SYNTHETIC-2,包含 400 万条经过验证的推理轨迹,覆盖迄今最全面的复杂强化学习任务与验证器。数据由全球算力贡献者通过流水线并行分布式推理生成,3 天内共有 1,253 块 GPU 参与,涵盖 4090 到 H200。
METR 发布对开源权重模型 DeepSeek-V3 的评估报告(2025年2月12日),未发现其具备超越 Claude 3.5 Sonnet 和 GPT-4o 等现有模型的危险自主能力。
METR 发布对 DeepSeek-R1 的危险自主能力评测,未发现其具备超出 Claude 3.5 Sonnet、GPT-4o 等现有模型的危险能力。
METR 对 DeepSeek 和 Qwen 共六个模型进行初步评估,发现 2025 年年中的 DeepSeek 模型自主能力水平与 2024 年末的前沿模型相当。
ARC Prize 测试了各大实验室的 AI 推理系统,在 ARC-AGI-1 上得出准确率与成本的 Pareto 前沿,没有单一赢家:追求最高准确率选 OpenAI o3-medium/o3-high(o3-preview low 为 75.7% 但单任务 $200)。
推荐理由:ARC Prize 用统一基准横向比较各大推理系统,给出按准确率、成本和效率选型的具体建议,可直接用于模型选型。
Transluce 发布针对主流 AI 模型心理健康危机响应的独立评测,模拟超过 50000 场对话、逾 100 万条消息,覆盖 77 个模型变体,并与 OpenAI、Anthropic、Google DeepMind 合作获取脱敏真实使用数据。
推荐理由:原文给出了模拟规模、模型代际对比结果和开放数据集,读者可以据此了解 AI 心理健康安全评测的现状与方法。
SemiAnalysis 研究了 DeepSeek-V4.1-Flash 的 Engram 多 token 查找机制,其表可卸载到主机 DRAM,同质量下降低 HBM 需求。
Together AI 提出分布感知推测解码(DAS),在 RL 后训练中最高减少 50% 的 rollout 时间且不改变模型输出。DAS 由自适应后缀树草稿器和长度感知调度两部分组成,前者无需梯度更新即可持续适配策略变化,后者通过跨 GPU 负载均衡与 GPU 内推测预算分配削减长尾请求。
DeepSeek 在 GitHub 新仓库 Engram 中提出「条件记忆」——通过可扩展查找为大型语言模型开辟稀疏性的新维度。该工作将记忆与稀疏激活结合,作为独立于 MoE 的稀疏轴。
DeepSeek 在 GitHub 开源双向流水线并行算法 DualPipe,用于 DeepSeek V3/R1 训练中的计算与通信重叠。该算法通过双向流水线调度实现计算与通信的 overlap,仓库路径为 deepseek-ai/DualPipe。