跳到正文
热点事件持续更新

隐形软连字符 U+00AD 破坏 RAG 检索

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

2026 年 10 月 2 日,一名 DEV 作者报告称,一本 400 页技术手册的 EPUB 转换为 Markdown 后,RAG 检索失效。作者排查发现,原因是印刷排版遗留的 U+00AD 软连字符混在单词内部,全书共 4213 个。多数分词器会把该字符当作词边界,从而造成嵌入漂移、关键词搜索零命中。目前报道仅披露了这一发现及其成因,未提及修复方案或后续处理结果。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月2日
  1. Google AI:DEV 作者专属
    隐形软连字符 U+00AD 破坏转换书籍的 RAG 检索:一本书里藏了 4000 多个

    作者发现一本 400 页技术手册的 EPUB 转 Markdown 后 RAG 检索失效,原因是印刷排版遗留的 U+00AD 软连字符混在单词内部,全书共 4213 个;多数分词器把它当作词边界,导致嵌入漂移、关键词搜索零命中。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。