LlamaIndex 发布 GenAI 原生文档解析平台 LlamaParse
Launching the first GenAI-native document parsing platform
LlamaIndex 正式发布 GenAI 原生文档解析平台 LlamaParse,上线 3 周已有超过 2000 名用户解析超 100 万页。新功能包括自然语言解析指令、JSON 模式(含表格 CSV/JSON 输出和带元数据的图片提取),并扩展支持 Word、PowerPoint、ePub 等文档类型。
官方发布解析指令、JSON 模式等新功能,并给出漫画和数学公式等具体解析示例,读者可据此评估文档 RAG 方案。
LlamaIndex 的使命是将全球数据与 LLM 的强大能力连接起来,今天我们很高兴地宣布,我们朝着这一目标迈出了重要一步,推出了全球首个 GenAI 原生文档解析平台 LlamaParse。
我们在 3 周前 发布了 LlamaParse 的首个公开版本,反响热烈,已有超过 2,000 名用户解析了超过 100 万页文档!此后我们一直在努力发布数百项错误修复和新功能,今天我们推出了一项颠覆性的新功能——GenAI 驱动的解析指令。
立即探索我们的免费和付费方案。
使用 LLM 实现世界级解析
解析指令背后的核心洞察是:你清楚自己拥有什么类型的文档,因此你早已知道想要什么样的输出。既然 LLM 驱动的解析器可以接收你提供的简单自然语言指令并给出大幅优化的解析结果,何必让解析器去猜测呢?
示例 1:丰富的表格支持
自首次发布以来,LlamaParse 就一直具备业界领先的表格提取能力。在底层,它从一开始就利用了 LLM 智能。它与开源框架提供的高级索引/检索能力无缝集成,使用户能够构建最先进的文档 RAG。现在借助 JSON 模式(见下文)和解析指令,你可以更进一步。
示例 2:解析漫画书
解析翻译漫画对解析器来说是一个特别的挑战,因为普通解析器会将画格理解为表格中的单元格,而且阅读顺序是从右到左,尽管这本书是英文的,如下面这段摘自 Hiroyuki Kojima 所著《漫画微积分指南》的内容所示:
使用 LlamaParse,你可以用简单的英文指令告诉解析器该怎么做:
The provided document is a manga comic book.
Most pages do NOT have title. It does not contain tables.
Try to reconstruct the dialogue happening in a cohesive way.(你可以在我们的演示 notebook 中查看完整代码,包括不使用指令解析时的效果)
结果完美解析!
# The Asagake Times
Sanda-Cho Distributor
A newspaper distributor?
Do I have the wrong map?示例 3:数学公式
另一个解析难题是复杂的数学公式(巧合的是,我们选作示例的漫画正好讲的是如何做数学):
要解析这个,我们使用与之前相同的指令并添加一句话:Output any math equation in LATEX markdown (between $$)。解析结果是清晰的 LaTeX 指令,可以完美渲染公式:
LLM 能做的,我们的解析器都能做
你可以使用这类自然语言指令对文档进行各种高级预处理——简化语言、加入情感分析、翻译成另一种语言!我们迫不及待想看到你们用 LlamaParse 的强大能力做出什么。
JSON 模式
解析指令无疑是头条功能,但自发布以来我们为 LlamaParse 新增了数十项其他功能。其中突出的是 JSON 模式,这是一种丰富的编程格式,非常适合当你需要更精确地指定要解析出什么内容时使用。JSON 模式的输出包括:
- 被解析文档的完整结构
- 标记出的表格、文本和标题
- 表格以 CSV 和 JSON 格式提供
- 图像被标记并可提取(见下文)
- 关于每个节点的丰富元数据
如果你正在构建自定义 RAG 策略,JSON 模式为你提供了构建所需的一切。查看我们的 JSON 模式示例!
JSON 模式最出色的功能之一是图像提取:每个包含图像的页面都会附带一个图像列表,其中标记了包括尺寸和页面位置在内的元数据,你可以直接检索这些图像并将其纳入索引,从而从复杂、图像密集的文档中提取更多信息。
扩展的文档类型
我们推出 LlamaParse 时对 PDF 提供了卓越的支持,并且我们每天都在持续扩展其能力。我们还增加了对大量文档类型的支持:
- Microsoft Word(.doc、.docx)
- Microsoft PowerPoint(.pptx)
- Rich Text Format(.rtf)
- Apple Pages(.pages)
- Apple Keynote(.key)
- ePub 电子书(.epub)
- 以及更多类型!
所有这些文档类型都“开箱即用”,无需你额外操作,我们也在不断扩展支持的文件类型列表。查看这个演示 notebook,我们在其中演示了解析 PowerPoint 文件。
还有一件事……无限解析!
对 LlamaParse 的巨大需求包括许多人希望通过付费方案突破我们的免费每日限额,我们很高兴回应这些请求。我们的定价很简单:
- 每周 7000 页免费
- 额外页面为 $0.003/页,或每 1000 页 $3
- 单个文档的最大大小为 750 页
当然,我们保留了慷慨的免费额度:每天 1000 页。
LlamaParse 的公开版本是一项托管服务。如果你想扩展 LlamaParse 的能力以构建高级文档 RAG,或希望将 LlamaParse 部署到私有云中,请联系我们。
来源:LlamaIndex:产品、工程与评测 · llamaindex.ai