Chonkie

活跃

GitHub Python MIT

简介

轻量级文档分块库，专为快速、高效和稳健的 RAG 管道设计，支持多种分块策略和嵌入模型，显著提升检索增强生成效果。

核心特性

11 种分块策略：Token、Fast（SIMD 100+ GB/s）、语义、递归、代码、神经网络、Slumber 等
端到端流水线 API，支持获取、分块、优化、嵌入并发送到向量数据库
45+ 集成：分词器、嵌入提供商、LLM、优化器、传输器和向量数据库
开箱即用支持 56 种语言
自托管 REST API 服务器，流水线管理存储在 SQLite 中
轻量级仅 505KB，支持异步高吞吐量应用

适用场景

💡 使用语义或递归分割为 RAG 管道准备文档块

💡 使用 REST API 和流水线管理构建生产级文档摄入服务

💡 代码感知分块，适用于开发者文档和代码仓库分析

💡 通过异步分块和嵌入流水线实现高吞吐量文本处理

标签

rag python embedding data-processing

分类

📚 RAG 工具

快速开始

1. 安装：pip install chonkie。2. 使用：from chonkie import RecursiveChunker; chunker = RecursiveChunker(); chunks = chunker('你的文本')。3. 流水线用法：from chonkie import Pipeline; pipe = Pipeline().chunk_with('semantic', chunk_size=512); doc = pipe.run(texts='...')。

访问 GitHub 访问官网

相关项目

DeepLake

DeepLake 是面向 AI Agent 的数据运行时，提供无服务器 Postgres 和多模态数据湖，支持可扩展的数据检索与训练。专为 AI 智能体场景设计，统一向量存储、数据集管理和流式加载。

vector-databasedata-processingpython +3

ColiVara

ColiVara 是一套基于视觉嵌入的文档检索服务，无需 OCR 或文本提取，直接通过视觉模型对文档进行存储、搜索和检索，在文本和视觉文档上均达到领先的检索性能。

ragvector-databaseembedding +2

LEANN

12.7k · Python

LEANN 是一个高效的个人设备端 RAG 引擎，在保持 97% 存储压缩的同时实现快速、准确的检索增强生成。完全本地化运行，保障数据隐私，适合在消费级硬件上部署 RAG 应用。

ragpythonvector-database +2

RAGatouille

轻松使用和训练最先进的后期交互检索方法（ColBERT），模块化设计，可将 ColBERT 模型集成到任何 RAG 管道中，显著提升检索精度。

ragpythonembedding +1

相关文章

RAG文档分块Chunking

文档分块策略：Recursive、Semantic 与 Agentic 三大范式实战

RAG 的"上游"决定"下游"的天花板。系统对比固定大小、Recursive、Semantic、Agentic 四种分块策略，给出可量化的选型决策、Chonkie / LlamaIndex / LangChain 工具链对比和离线评估方法。

阅读全文 →