预注册复现测试品牌提及预测的持久性
热点事件持续更新
预注册复现测试品牌提及预测的持久性
1 篇报道1 个报道来源15 小时前更新
先了解这件事
AI 综述
一项预注册复现研究显示,gemini-3.1-pro-preview 基于前九次答案对品牌提及率的预测,在 20.3 天后仍然有效。 研究于 2026 年 9 月 22 至 23 日约十小时内分三波发送 162 条请求,并在 10 月 13 日以相同请求体重发。预测的 Brier 为 0.0281、log loss 0.126,优于品牌历史(0.104)、总体提及率(0.234)和固定 0.5(0.250),并在全部九个问题族中胜出(精确符号翻转 p = 0.0039)。 结论有明确边界:计划与判定规则在首次调用前已冻结、哈希并注册于 OSF;测试只覆盖一个模型、一个时间间隔和十二个已知品牌,不估计衰减率。所有答案均报告了所请求的模型版本,且在搜索已启用的情况下没有发出搜索查询。对 96 个标签的盲人工检查中,94 个与规则一致,两处分歧被裁定为评分者遗漏,仲裁后 96 个全部吻合。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
Gemini 答案品牌提及历史预测的预注册复现测试:20 天后依然成立报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv:cs.CLGemini 答案品牌提及历史预测的预注册复现测试:20 天后依然成立
一项预注册复现显示,gemini-3.1-pro-preview 对 162 条请求的品牌提及率预测在 20.3 天后仍保持有效:基于前九次答案的预测 Brier 为 0.0281、log loss 0.126,优于品牌历史(0.104)、总体提及率(0.234)和固定 0.5(0.250),并在全部九个问题族中胜出(精确符号翻转 p = 0.0039)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。