LLM智能体模拟A/B测试取得0.75-0.80方向准确率

Ziyad Benomar等作者提出一种基于数据驱动persona的LLM智能体模拟框架，用真实用户行为信号预测A/B测试结果。该框架将A/B测试模拟建模为结构化问题任务，并考察问题设计格式、persona数据来源与领域对齐的影响，以及单persona行为深度与群体多样性之间的权衡和高效群体子采样。 研究称，在覆盖两类指标的40个A/B测试基准上，最佳配置取得0.75-0.80的方向准确率，据此认为数据驱动persona是通往快速、低成本实验预筛选的可行路径。这一结果来自该基准和最佳配置，尚不构成对全部A/B测试场景的验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。