跳到正文

#数据/训练

今日 4 条
7月10日周五
7月9日周四
7月7日周二
7月6日周一
  1. Hugging Face:Blog(RSS)45

    PRX Part 4:我们的数据策略

    PRX 系列第 4 篇披露其数据策略:预训练数据由公开与内部数据集混合而成,用 VLM 重新生成图像长描述,再转为可流式读取的语料。团队改用 Qwen3-VL 在训练中实时计算文本 latent,实测吞吐仅损失约 3–4%(30 天训练多约 1 天),并采用 Lance 构建、MDS 流式的双格式流程,图像统一以 JPEG quality 92 编码。

6月30日周二
6月9日周二
6月5日周五
  1. Google Research71

    Google Research 发布 PHRM 系统用手机前置摄像头被动监测心率与静息心率

    Google Research 在 Nature 发表 PHRM 研究系统,利用人脸解锁后的前置摄像头视频在日常用机时后台估计心率与每日静息心率。

    推荐理由:这项研究覆盖近700名不同肤色的参与者并在真实生活场景验证,读者可以据此了解手机摄像头被动测心率的精度与局限。

5月27日周三
  1. Mistral AI:News(网页)49

    Mistral 收购 Emmi AI 后加码物理 AI 研究,聚焦航空航天与半导体

    Mistral 收购 Emmi AI,并加倍投入面向航空航天、汽车、半导体和能源等实体产业的物理 AI 基础研究。其成果包括 AB-UPT 物理 Transformer,可在单张 GPU 上处理 9M 表面与 140M 体积网格的原始几何数据而无需重新划分网格;NeuralDEM 则是首个面向大规模多物理过程的端到端深度学习代理模型,支持流化床反应器等工业过程的实时仿真。

5月15日周五
5月2日周六
4月30日周四
4月24日周五
  1. Together AI 研究与产品博客(RSS)45

    Together AI 用分布感知推测解码将 RL rollout 加速最高 50%

    Together AI 提出分布感知推测解码(DAS),在 RL 后训练中最高减少 50% 的 rollout 时间且不改变模型输出。DAS 由自适应后缀树草稿器和长度感知调度两部分组成,前者无需梯度更新即可持续适配策略变化,后者通过跨 GPU 负载均衡与 GPU 内推测预算分配削减长尾请求。

4月22日周三
4月20日周一
4月16日周四
4月15日周三
  1. Together AI 研究与产品博客(RSS)48

    Together AI 推出 Parcae:稳定循环架构用一半参数追平 1.3B Transformer

    Together AI 提出稳定循环架构 Parcae,通过将激活多次穿过同一批层来增加计算量,验证困惑度较此前大规模循环模型最多降低 6.3%。770M Parcae 在相同数据上追平 1.3B 参数 Transformer 的质量,参数约减半。团队还首次建立循环的缩放定律,发现计算最优训练需同步提升循环次数与数据量。

4月7日周二
  1. Together AI 研究与产品博客(RSS)25

    什么是 AI Native Cloud?

    Together AI 提出 AI Native Cloud 概念,指围绕 AI 全生命周期(预训练、微调、评估、大规模推理)垂直整合的云平台,而非为 Web 应用优化的传统 CPU 云。其核心特征包括从 GPU、NVLink/RDMA 高速互联到训练与推理框架的统一全栈,以及持续吸收前沿研究、快速将研究转化为生产的能力。

4月1日周三
3月28日周六
3月18日周三
  1. Mistral AI:News(网页)47

    Mistral AI 推出 Forge:面向企业构建前沿级定制模型

    Mistral AI 推出 Forge,让企业基于自有专有知识训练前沿级 AI 模型,支持预训练、后训练与强化学习全流程。Forge 同时支持 dense 与 MoE 架构,并可按需支持多模态输入,模型可运行在企业自有基础设施内以保留控制权。该平台以智能体优先设计,Mistral Vibe 等自主智能体可用其微调模型、寻找最优超参数、调度任务并生成合成数据。

3月17日周二
3月13日周五
  1. BAIR:Berkeley AI Research Blog34

    伯克利提出 SPEX 与 ProxySPEX:大规模识别 LLM 特征交互

    伯克利 AI 研究团队提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性与低阶性,将交互搜索转化为稀疏恢复问题;ProxySPEX 进一步利用层次结构,以约少 10 倍的消融次数达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展至数千特征时仍保持高忠实度,优于 LIME、Banzhaf 等边际方法。

3月12日周四
  1. Google Research61

    Google 发布 Groundsource:用 Gemini 把新闻报道转为历史洪水数据

    Google Research 推出 Groundsource,利用 Gemini 从 80 种语言的新闻报告中提取结构化历史洪水事件,建成覆盖 150 多个国家、2000 年至今的 260 万条记录的开源数据集。

    推荐理由:原文给出方法细节与验证准确率,读者可以据此了解用 LLM 把新闻转成灾害历史数据的可行路径。

  2. Answer.AI 官方研发博客(RSS)71

    Answer.AI 用 PyPI 数据检验 AI 编程提效:整体未见爆发,仅热门 AI 包更新翻倍

    Answer.AI 分析 PyPI 数据,未发现 ChatGPT 发布后包创建或更新频率的全面跃升,质疑 AI 让开发者普遍 2x 到 100x 提效的说法。按描述分类后发现,2023 年首发且最受欢迎的 AI 相关包中位更新达每年 21-26 次,是同为热门的非 AI 包(约 10 次)的两倍多,2024 年 AI 包占比也从 2021 年的约 1:6 升至近 1:2。

    推荐理由:作者用 PyPI 十年数据检验 AI 提效说法,发现增速未变,只有热门 AI 包更新频率翻倍,为讨论提供了少见的量化证据。

3月5日周四
2月23日周一
2月19日周四
  1. Together AI 研究与产品博客(RSS)48

    Together AI 的 CDLM 让扩散语言模型推理最高提速 14 倍且不牺牲质量

    Together AI 提出一致性扩散语言模型 CDLM,通过轨迹蒸馏、块级因果注意力与三项联合训练目标,让扩散语言模型在少步推理下保持质量,并支持精确的块级 KV 缓存。在 Dream-7B-Instruct 上,CDLM 将精炼步数减少约 4.1x–7.7x,GSM8K-CoT 延迟最高降低 11.2x,MBPP-Instruct 最高降低 14.5x,多数任务准确率变化很小。

2月9日周一
  1. Baichuan AI49

    📊 SOTA 全面领先: HealthBench 65.1 / Hard 44.4 🥇 幻觉率 3.5%(低于 ChatGPT)🛡️✨ ScanBench 全站第一:74.9 / 72.1 / 74.4 🏆

    引用Baichuan AI@BaichuanAI

    Baichuan-M3 Technical Report is live. 🚀 Report:https://arxiv.org/abs/2602.06570 Models: https://hf.co/collections/baichuan-inc/baichuan-m3 Try: https://ying.ai Built for clinical decision support, not trivia QA, optimized on the real outpatient workflow: Inquiry → Lab Testing → Diagnosis 🧑⚕️→🔬→🧾

2月6日周五
1月23日周五
  1. Sierra:Blog(RSS)30

    Sierra 推出 Expert Answers:把客服对话转化为 AI 智能体可复用的知识

    Sierra 发布 Expert Answers,可在 AI 智能体遇到知识缺口、转交人工客服解决后,自动从该次解决过程生成可审核的知识草稿并回灌给智能体。一家数字健康公司用其基于真实客服对话生成的文章做小流量测试,解决率提升 4% 且未增加客服工作量,随后全面铺开。该功能还可配合 Live Assist 将知识同步给整个客服团队。

1月16日周五
1月15日周四
  1. OpenAI:Alignment 研究博客(RSS)50

    OpenAI 发布 CoVal:从众包中学习价值观感知评分标准

    OpenAI 发布实验性数据集 CoVal,将价值观敏感的提示词与众包撰写的可审计评分标准配对,记录人们偏好某个模型回复的具体理由而非仅选择结果。CoVal 含保留多元甚至冲突标准的 CoVal-full 和每提示词保留 4 条高评分兼容标准的 CoVal-core 两种形式,其评分可预测样本外人类排名,并揭示 GPT-5 系列模型的行为差异。

1月10日周六
  1. BAIR:Berkeley AI Research Blog28

    伯克利提出信息驱动成像系统设计框架,无需任务专用解码器

    伯克利 AI Research 提出一种基于互信息的成像系统评估与优化框架,可直接从含噪测量中估计信息量,预测系统性能。在 NeurIPS 2025 论文中,该方法在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证了信息估计与下游解码性能的一致性,优化后的设计达到 SOTA 端到端方法水平,同时所需内存和算力更少,且无需任务专用解码器设计。