Ethan Mollick：与其只看基准分数，不如像面试一样测试你的 AI

Ethan Mollick 撰文指出，MMLU-Pro 等公开基准存在数据污染、题目含义不明和无法度量写作、商业判断等能力的问题，但仍共同反映底层能力的上升趋势。他建议个人用自设的 vibes 测试了解模型风格，组织则应参考 OpenAI 的 GDPval 方法，用真实任务、多次重复和专家盲评来系统评估模型在自己业务上的表现，并通过 GuacaDrone 等案例观察不同模型在模糊判断上的稳定差异。