跳到正文
热点事件持续更新

BSDProbe:基准题目级结构诊断框架

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Haiquan Hu 等作者发布 BSDProbe,一个对 LLM 基准做题目级结构诊断的框架。它沿经验排序的模型轴重复采样,为每条题目生成边界位置、边界宽度、边界信号有效性和顺序一致性四维画像,在六个基准上识别出不同比例的可疑条目。 据论文称,以 Qwen3 作为筛选与参考轴,其归一化区分度比各基准最优基线平均相对提升 17.9%,与完整基准的排序一致性达到或超过所有基线。该结果出自作者提交的论文,尚待独立验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.AI
    BSDProbe:通过条目级能力边界对 LLM 基准做结构性诊断

    BSDProbe 提出了一个条目级基准结构诊断框架,通过沿经验排序的模型轴重复采样,构建边界位置、边界宽度、边界信号有效性和顺序一致性四维画像,在六个基准上识别出不同比例的可疑条目。以 Qwen3 作为筛选与参考轴,其归一化区分度比各基准最优基线平均相对提升 17.9%,与完整基准的排序一致性达到或超过所有基线。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。