ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

【AI黑话日日新】Day 021|Chunking(文本切块)

2026/8/28 21:16:08 拓冰建站 浏览量
【AI黑话日日新】Day 021|Chunking(文本切块) day: 21date: 2026-08-28keyword_en: Chunkingkeyword_zh: 文本切块category: 智能体与上下文reading_time: 8一句话说清:把一整本文档切成一口大小的小段,方便模型检索时精准命中,又塞得进上下文窗口。1. 它到底在说什么文本切块就是把一大段文档,切成适合检索和阅读的小段。你可以把它想象成给一本厚书标页码、拆章节:整本书直接检索,你永远找不到“具体哪句话”在哪一页;切成小段后,每次只把最相关的那几页递给读者,又准又不累赘。在上一期讲到的 RAG(检索增强生成)里,切块是真正动手的第一步——文档不会整本塞进检索,而是先被切成片段,各自变成向量存进向量库。2. 为什么现在这个词很热切块本身不是新概念,但它随着 RAG 的走红成了“第一道工序”。关键的演进脉络大致是:2020 年 RAG 论文(Lewis 等人,NeurIPS 2020)提出“先检索再生成”,天然要求把知识库切小才能精