Sierra 开源多语言语音转写评测基准 μ-Bench

Sierra 开源 μ-Bench，包含五种语言 locale、五家 provider、来自 250 段真实 8 kHz 电话录音的 4,270 条人工标注语料。

Google Research 研究：AI 基准测试需要多少标注者才够？

Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了标注条目数与每条目标注者数的权衡，发现常用的每条目 1、3、5 名标注者往往不足，可靠结果常需超过 10 名。

OpenBMB 发布 OmniEvalKit：全模态大模型评测框架

OpenBMB 推出 OmniEvalKit，一个面向全模态大语言模型的评测框架，聚焦音频与音视频理解。基于该框架可快速复现 benchmark、接入自有模型或数据集，并与其他开源模型进行公平对比，MiniCPM-o 即使用该框架完成评测。

OpenAI 发布 Model Spec Evals 评测套件，量化各代模型对 Model Spec 的遵循程度

OpenAI 发布首个完整版 Model Spec Evals，用于衡量模型对 Model Spec 行为规范的遵循程度，并开源 596 条提示词的评测数据集和评测代码。

上海人工智能实验室发布 WildClawBench：面向生产环境 AI 智能体的真实场景基准

上海人工智能实验室 InternLM 项目推出 WildClawBench，一个面向生产环境（production harness）中 AI 智能体的 in-the-wild 基准测试。该基准聚焦智能体在真实部署环境下的表现评估，目前随 InternLM 项目开源发布。

Sierra 发布 𝜏³-Bench，将智能体评测扩展到知识库与实时语音

Sierra 发布 𝜏³-Bench，在 𝜏-Bench 基础上新增 𝜏-Knowledge 和 𝜏-Voice 两个评测域，并合并社区对原有领域的修正。

Google 用高温超导研究问题测试 LLM 世界模型

Google 联合康奈尔大学在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位专家按 6 项指标盲评打分。

Baichuan AI@BaichuanAIAI 评分4949

📊 SOTA 全面领先： HealthBench 65.1 / Hard 44.4 🥇 幻觉率 3.5%（低于 ChatGPT）🛡️✨ ScanBench 全站第一：74.9 / 72.1 / 74.4 🏆

InternLM 发布 EMemBench：面向 VLM 智能体情景记忆的交互式基准

上海人工智能实验室 InternLM 推出 EMemBench，一个面向 VLM 智能体的情景记忆交互式基准，论文已被 EMNLP 2026 Findings 收录。该基准以交互方式评测智能体的情景记忆能力，官方仓库已同步开放。

Ethan Mollick：与其只看基准分数，不如像面试一样测试你的 AI

Ethan Mollick 撰文指出，MMLU-Pro 等公开基准存在数据污染、题目含义不明和无法度量写作、商业判断等能力的问题，但仍共同反映底层能力的上升趋势。他建议个人用自设的 vibes 测试了解模型风格，组织则应参考 OpenAI 的 GDPval 方法，用真实任务、多次重复和专家盲评来系统评估模型在自己业务上的表现，并通过 GuacaDrone 等案例观察不同模型在模糊判断上的稳定差异。

Sebastian Raschka 从零讲解 LLM 评测的四种主要方法：多选题、验证器、排行榜与 LLM 评审

Sebastian Raschka 长文讲解 LLM 评测的四种主要方法：多选题基准（如 MMLU）、验证器、偏好排行榜（如 LM Arena）和 LLM-as-a-judge，并配从零实现的代码示例。

OpenAI Evals 入门指南：用 Datasets 编写评估

OpenAI 发布 Evals 入门指南，介绍如何用平台 Datasets 功能创建数据集、编写提示词并生成输出来评估模型表现。Evals 平台正在弃用，现有内容在过渡期内仍可用，2026 年 10 月 31 日起对现有用户转为只读，11 月 30 日关停。

OpenAI Evals API 使用指南：如何用 API 配置和运行模型评估

OpenAI 发布 Evals API 使用指南，介绍如何通过 API 以编程方式配置评估，用 data_source_config 定义测试数据 schema、用 testing_criteria 设置评分器，并以 IT 工单分类为例演示完整流程。

Answer.AI 发布 ReadBench：评测视觉语言模型的文本读取能力

Answer.AI 推出 ReadBench 基准，将 MMLU-Redux、MMLU-Pro、GPQA-Diamond、BABILong 和 LongBench 等文本基准的上下文转为图像、问题保留为文本，评测 VLM 从图像中读取和推理文本的能力。

小米 MiMo 发布 lmms-eval：一键评估加速 LMM 开发

小米 MiMo 推出 lmms-eval，一个面向大型多模态模型（LMM）的一键式评估模块，用于加速 LMM 开发。该工具以评估模块形式提供，具体支持的模型、基准与使用方式未在原文中说明。

Mistral 如何用 LLM as a Judge 评估 RAG 系统

Mistral 提出用 LLM as a Judge 结合 RAG Triad 框架评估 RAG 系统，从上下文相关性、有据性和答案相关性三个维度打分。其 API 新增的结构化输出功能可定义评分 schema，让评判 LLM 输出机器可读的分数，从而构建更可靠的自动化评估流程。

Answer.AI 团队实测 Devin 一个月：20 个任务仅 3 个成功

Answer.AI 团队对 Devin 进行一个月真实任务实测，20 个任务中 14 个失败、3 个无结论、仅 3 个成功，且无法预测哪些任务会成功。Devin 在处理现有代码库、研究类任务中常陷入技术死胡同或幻觉出不存在的功能，团队结论是其自主性反而成为负担，更倾向使用 Cursor 等由开发者主导的 AI 辅助工作流。