热点事件持续更新

EconCausal基准发布并揭示LLM意识形态偏见

2 篇报道2 个报道来源5 小时前更新

先了解这件事

AI 综述

Donggyu Lee等作者发布 EconCausal，一个从 2,595 篇顶级经济与金融期刊实证研究中提取的 10,490 条上下文标注因果三元组基准，用于检验大语言模型能否在指定情境下推断因果效应方向，并随情境变化修正判断。数据集与基准已公开。在 19 个模型上的测试显示：当源情境与目标情境的效应符号相反时，平均准确率从整体 74.75% 降至 44.27%；模型对研究报告中不显著效应的预测准确率仅 19.16%。后续研究将基准扩展至意识形态争议案例，识别出 1,056 个争议实例并评测 20 个 SOTA LLM。结果显示，争议条目普遍更难，20 个模型中有 17 个在实证因果方向与政府干预导向一致时准确率更高，出错时也更多偏向干预导向，且一次性 in-context 提示无法消除这种方向性偏差。

AI 根据报道生成 · 1 小时前更新

最新进展10月15日 12:00

LLM 的经济因果推理存在意识形态偏见

事件进展

2 个进展

10月15日 12:00 · 1 篇报道
EconCausal：LLM经济因果推理基准发布
arXiv：cs.CL：EconCausal：面向大语言模型的上下文感知经济推理基准
10月15日 12:00 · 1 篇报道
LLM 的经济因果推理存在意识形态偏见
arXiv：cs.LG：LLM 的经济因果推理存在意识形态偏见

报道时间线

沿着报道，了解事件的不同侧面。

10月15日

12:00
arXiv：cs.LG
LLM 的经济因果推理存在意识形态偏见
研究将 EconCausal 基准扩展至意识形态争议案例，从顶级经济金融期刊的 10,490 个因果三元组中识别出 1,056 个争议实例，评测 20 个 SOTA LLM 预测实证支持的因果方向。争议条目普遍更难，20 个模型中有 17 个在实证因果方向与政府干预导向一致时准确率更高，出错时也更多偏向干预导向，且一次性 in-context 提示无法消除这种方向性偏差。
12:00
arXiv：cs.CL
EconCausal：面向大语言模型的上下文感知经济推理基准
研究团队推出 EconCausal，一个从 2,595 篇顶级经济与金融期刊实证研究中提取的 10,490 条上下文标注因果三元组基准，用于检验 LLM 能否在指定情境下推断因果效应方向并随情境变化修正判断。在 19 个模型上测试发现，当源情境与目标情境的效应符号相反时，平均准确率从整体 74.75% 降至 44.27%，模型对研究报告中不显著效应的预测准确率仅 19.16%。数据集与基准已公开。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。