PADMÉ：面向 LM 智能体评估器元评估的偏好对齐数据合成方法

PADMÉ 是一种面向智能体场景的元评估数据合成方法，将元评估重构为偏好判断问题，仅用小型语言模型、无需人工参与且计算开销低。其原型在四个智能体领域、三项评估标准上合成 1000 条样本，150 条子集的人工验证显示与人类判断的一致率从基线 73% 提升至 85%。该数据集对 25 个常见模型的元评估揭示了评估表现与打分粒度、宽松度及模型规模等因素的相关性。