SLS-Bench 事件日志摘要基准发布

研究者发布 SLS-Bench，一个面向事件日志摘要的基准，包含 90 个基于真实事件报告构建的任务，每个任务配有合成日志流和参考摘要。 该基准的数据生成流程将事件报告转为结构化事件模型，再通过生成器-验证器循环生成合成日志与摘要，并与真实日志流做统计对比。 对 14 个 LLM 的评估显示，前沿模型能生成有用摘要，但成本和延迟较高；开放权重模型明显落后。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。