跳到正文
热点事件持续更新

研究者提出TasteBench品味评测基准

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

Xiaofan Wu等研究者发布论文,提出TasteBench——一个在视觉、品牌、图书与技术品类上成对比较好坏样本的"品味"基准,并配套控制协议以区分工艺判断与测试作弊。基准采用冻结评分标准,金标仅由专家标注,专家组不少于3人、一致率不低于0.60为主门槛,较弱的参与度标签仅用于训练与分析。作者同时发布了参考评测工具与侧别随机化工具。 作者称,工艺领域的天花板是配对难度的限制,需在第二轮解决;此次未评估参与度、时代/圈层条件或校准,也未宣称在通用品味上达到最先进水平。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.AI
    如何构建一个真正衡量品味的基准:TasteBench 与测试作弊控制协议

    研究者提出 TasteBench,一个在视觉、品牌、图书与技术品类上成对比较好坏样本的"品味"基准,采用冻结评分标准和仅专家标注(专家组 n>=3,一致率>=0.60),并配套区分工艺判断与测试作弊的控制协议。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。