轻松定制Markdown切分 RAG文本切分LV3
分块理论旨在将具备独特高低文的文本放在一同。思考到这一点,咱们或者宿愿特意尊重文档自身的结构。例如,markdown 文件按题目组织。在特定题目组中创立块是一种直观的想法。为了处置这一应战,咱们可以经常使用MarkdownHeaderTextSplitter。这将按指定的一组题目拆分 markdown 文件。
分块理论旨在将具备独特高低文的文本放在一同。思考到这一点,咱们或者宿愿特意尊重文档自身的结构。例如,markdown 文件按题目组织。在特定题目组中创立块是一种直观的想法。为了处置这一应战,咱们可以经常使用MarkdownHeaderTextSplitter。这将按指定的一组题目拆分 markdown 文件。