Chunking · 文档切分
英文:chunking/ˈtʃʌŋkɪŋ/(重音在前)
知识库与 RAG难度:进阶 ★★
🗣️一句话大白话
把长文档切成小段再入库——知识库的「备菜」方式。检索搜的是段不是整本,切得好不好,直接决定找得准不准。
🎬真实场景
50 页员工手册整本入库,员工问「年假怎么请」,系统整本都算相关,等于没搜。切成小段后只命中「假期制度」那两段,回答又快又准。切太碎又会把「但如果…」的上下文切丢,答案是半句。
📮你可以这样说
「「这个文档按标题层级来切,每段不超过 500 字」——重要文档值得在知识库产品里自定义切分规则。」
⚠️边界与常见误解
- ▸没有万能切法:说明书按章节、问答对按一问一答、合同按条款
- ▸切完最好带上出处标题一起存,回答时能附引用
- ▸改了切分方式要重新入库:知识库不是倒进去就完事,要试要调