Hugging Face 政策主管称嵌入式评测亟需标准化

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，尽管外界对嵌入式 AI 评测器生态兴趣浓厚，但究竟谁能在哪些任务上成为有效评测者，相关资质标准仍远未统一，亟需更多标准化。 她称模型评测仍是一门演进中的科学，不同评测方法之间难以有效比较且失效较快，结果可复现性是建立评测信任的关键，开放权重对此至关重要。她还指出，智能体评测难度大、成本高，针对 harness 的评测仍不足。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。