Chonkie是轻量级、快速且功能丰富的RAG(Retrieval-Augmented Generation)分块库,为文本处理设计。Chonkie支持基于Token、单词、句子和语义的多种分块方法,易于安装和使用,无冗余,适合各种自然语言处理任务。Chonkie以高效性能和广泛的tokenizer支持,成为开发者在构建RAG应用时的首选...
Chonkie是轻量级、快速且功能丰富的RAG(Retrieval-Augmented Generation)分块库,为文本处理设计。Chonkie支持基于Token、单词、句子和语义的多种分块方法,易于安装和使用,无冗余,适合各种自然语言处理任务。Chonkie以高效性能和广泛的tokenizer支持,成为开发者在构建RAG应用时的首选库。
官网:https://github.com/bhavnicksm/chonkie
立即打开官网