土耳其语决策基准 HakemBench 发布

ufak AI 的 Sait Furkan Teke 发布土耳其语类型化决策基准 HakemBench v1.0，以 CC BY 4.0 完全开源。模型读取文本、问题和固定选项后为每个选项返回概率。1.0 版含 2,346 个条目、4,275 道选择题/是非题/评分题，覆盖事实核查分流、教育、护栏、法律路由、审核、垃圾邮件与钓鱼、客户支持七个赛道。 多数金标签来自一个 AI 模型家族的盲测与其他模型家族大模型小组投票的比对，未经人工核验；其数字并非盲测。早先运行的测试结果影响了训练数据，因此护栏、审核和客户支持三项成绩被标记；仅在其余四个赛道给所有模型评分时，其综合分为 0.678，在 16 个模型中排第 6。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。