跳到正文
热点事件持续更新

强harness缩小立法XML转换模型差距

1 篇报道1 个报道来源15 小时前更新

先了解这件事

AI 综述

一项针对美国州立法文档转为 schema 约束 XML 的工业流水线研究(Palvika Bansal 等作者,arXiv cs.CL)发现,harness 工程比模型本身更决定准确率。在 153 份金标法案上交叉测试三种 harness 与三个 Claude 模型,完整流水线中最弱模型准确率为 0.948,超过单独使用的最强模型的 0.806,配对 bootstrap 检验 p 小于 0.001。 研究将 harness 定义为围绕模型构建的确定性工具,并据此提出:该流水线的准确率主要来自 harness 工程,而非模型自身。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.CL
    强 harness 缩小模型差距:立法文档转 XML 的对比评测

    一项针对美国州立法文档转 schema 约束 XML 的工业流水线研究显示,harness 工程比模型本身更决定准确率。在 153 份金标法案上交叉测试三种 harness 与三个 Claude 模型,完整流水线中最弱模型(0.948)超过单独使用的最强模型(0.806),配对 bootstrap p 小于 0.001。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。