向量数据库实战：选型、调优与落地~系列文章12：文本分块策略实战：chunk_size 怎么选？重叠多少？

文本分块策略实战：chunk_size 怎么选？重叠多少？直接影响检索质量 ✂️

🔥本文是《向量数据库实战：选型、调优与落地》专栏第 12 篇

⏱️阅读时间：约 13 分钟

🎯 开篇：分块策略被严重低估了

很多人花大量时间选向量数据库、调索引参数、换嵌入模型——

却忽略了最影响检索质量的环节：文本分块（Chunking）😱

一个残酷的事实：

同样的数据库、同样的模型、同样的索引——

换一种分块策略，检索准确率可以差 30% 以上！

🧠 为什么需要分块？

┌─────────────────────────────────────────────────────────┐ │ 为什么不能直接把整篇文档塞进去？ │ ├─────────────────────────────────────────────────────────┤ │ │ │ 问题 1：超过最大 Token 限制 │ │ → bge-m3 最多 8192 tokens（约 5000 字） │ │ → 一篇 2 万字的文章根本放不下 │ │ │ │ 问题 2：语义被稀释 │ │ → 一篇长文档包含多个主题 │ │ → 整篇向量化后，每个主题的"信号"都被稀释 │ │ → 检索时"什么都像，什么都不像" │ │ │ │ 问题 3：检索精度下降 │ │ → 返回一整篇文章，用户还得自己找答案 │ │ → 分块后能精确定位到具体段落 │ │ │ │ 结论：必须分块！ │ │ │ └─────────────────────────────────────────────────────────┘

✂️ 五大分块策略

策略 1：固定大小分块（最简单）

deffixed_size_chunk(text,chunk_size=500,overlap=50):"""固定大小分块"""chunks=[]start=0whilestart<len(text):end=start+chunk_size chunks.append(text[start:end])start=end-overlap# 重叠部分returnchunks# 示例text="这是一段很长的文本..."*100chunks=fixed_size_chunk(text,chunk_size=500,overlap=50)print(f"分成{len(chunks)}块")

参数说明：

优缺点：

✅ 优点：实现简单，速度快 ❌ 缺点：可能在句子中间截断，破坏语义完整性

策略 2：按句子/段落分块（推荐）

importredefsentence_chunk(text,min_size=200,max_size=800):"""按句子分块，保证每块在 min~max 之间"""# 按中文句号、问号、感叹号分句sentences=re.split(r'(?<=[。！？.!?])',text)chunks=[]current_chunk=""forsentenceinsentences:iflen(current_chunk)+len(sentence)>max_sizeandcurrent_chunk:chunks.append(current_chunk.strip())current_chunk=sentenceelse:current_chunk+=sentenceifcurrent_chunk.strip():chunks.append(current_chunk.strip())returnchunks

优缺点：

✅ 优点：保持句子完整性，语义连贯 ❌ 缺点：块大小不均匀，可能太小或太大

策略 3：递归分块（LangChain 默认）

fromlangchain.text_splitterimportRecursiveCharacterTextSplitter# LangChain 的递归分块器text_splitter=RecursiveCharacterTextSplitter(chunk_size=500,chunk_overlap=50,separators=["\n\n","\n","。","！","？","."," ",""]# 优先按段落分 → 按行分 → 按句子分 → 按字符分)chunks=text_splitter.split_text(text)

分块逻辑：

┌─────────────────────────────────────────────────────────┐ │ 递归分块的分层逻辑 │ ├─────────────────────────────────────────────────────────┤ │ │ │ 第 1 层：按 "\n\n"（段落）分割 │ │ → 如果块太大 → 进入第 2 层 │ │ │ │ 第 2 层：按 "\n"（换行）分割 │ │ → 如果块太大 → 进入第 3 层 │ │ │ │ 第 3 层：按 "。！？"（句子）分割 │ │ → 如果块太大 → 进入第 4 层 │ │ │ │ 第 4 层：按 " "（空格/字符）分割 │ │ → 最终保证每块不超过 chunk_size │ │ │ └─────────────────────────────────────────────────────────┘

策略 4：语义分块（最智能）

fromlangchain_experimental.text_splitterimportSemanticChunkerfromlangchain_openaiimportOpenAIEmbeddings# 基于语义相似度自动分块embeddings=OpenAIEmbeddings()semantic_splitter=SemanticChunker(embeddings=embeddings,breakpoint_threshold_type="percentile",breakpoint_threshold_amount=95# 相似度降到 5% 分位时切分)chunks=semantic_splitter.split_text(text)

原理：

句子 1: "向量数据库用于存储向量" ─┐ 句子 2: "它支持高维向量的快速检索" ├─ 语义相似 → 同一块 句子 3: "HNSW 是最常用的索引" ─┘ ↓ 语义跳跃！ 句子 4: "今天天气真好" ─┐ 句子 5: "适合出去散步" ─┘ ← 新的块

策略 5：Markdown/HTML 结构分块

fromlangchain.text_splitterimportMarkdownHeaderTextSplitter# 按 Markdown 标题结构分块headers_to_split_on=[("#","H1"),("##","H2"),("###","H3"),]md_splitter=MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on)chunks=md_splitter.split_text(markdown_text)# 每个 chunk 自动带上标题元数据forchunkinchunks:print(f"标题:{chunk.metadata}")print(f"内容:{chunk.page_content[:100]}...")

📊 分块策略对比

🔬 chunk_size 怎么选？实测数据

测试环境：5000 条中文客服问答，bge-m3 嵌入，Milvus HNSW

📊 chunk_size vs Recall@5 Recall 95% ┤ 93% ┤ ●(500) ← 最佳点！ 91% ┤ ●(200) ●(800) 89% ┤ ●(1000) 87% ┤ 85% ┤●(100) 83% ┤ ●(2000) 80% ┤ └──┬──┬──┬──┬──┬──┬──┬──→ chunk_size 100 200 500 800 1000 2000

关键发现：

• 🟢chunk_size = 500（约 300 个中文字）是最佳平衡点
• 🟡overlap 设为 chunk_size 的 10%效果最好
• 🔴chunk_size > 1000 后效果明显下降（语义被稀释）

⚠️ 分块的 5 个常见坑

坑 1：不考虑文档类型

❌ 错误：所有文档都用同一种分块策略 ✅ 正确： - 代码文档 → 按函数/类分块 - FAQ 文档 → 按 Q&A 对分块 - 表格数据 → 按行/记录分块 - 对话记录 → 按对话轮次分块

坑 2：overlap 设太大或太小

overlap 太小 → 边界处的信息丢失 overlap 太大 → 重复数据增多，浪费存储 推荐：overlap = chunk_size × 10%~15%

坑 3：忽略元数据

# ❌ 只存内容，丢了上下文chunk={"text":"它支持高维向量的快速检索"}# ✅ 保留元数据，检索更精准chunk={"text":"它支持高维向量的快速检索","source":"向量数据库入门.pdf","page":15,"section":"第3章 HNSW索引","title":"HNSW 算法详解"}

坑 4：不考虑嵌入模型的 Token 限制

# ❌ chunk 太大，超过模型限制被截断chunk_size=10000# bge-m3 最多 8192 tokens！# ✅ 根据模型调整# bge-m3: chunk_size ≤ 5000 字符（约 8000 tokens）# text-embedding-3: chunk_size ≤ 5000 字符# bge-large-zh: chunk_size ≤ 350 字符（约 512 tokens）

坑 5：不做分块质量评估

# 评估分块质量的简单方法defevaluate_chunks(chunks):"""评估分块质量"""sizes=[len(c)forcinchunks]print(f"块数量:{len(chunks)}")print(f"平均大小:{sum(sizes)/len(sizes):.0f}")print(f"最小块:{min(sizes)}")print(f"最大块:{max(sizes)}")print(f"大小标准差:{np.std(sizes):.0f}")# 标准差太大说明分块不均匀ifnp.std(sizes)>np.mean(sizes)*0.5:print("⚠️ 分块大小不均匀，建议调整策略")

💡 分块策略选择决策树

你的文档是什么类型？ │ ├── 📄 结构化文档（Markdown/HTML） │ └── 结构分块（按标题层级） │ ├── 💬 FAQ / Q&A 文档 │ └── 按 Q&A 对分块（每个 Q+A 是一块） │ ├── 📖 长文章/论文 │ ├── 追求质量 → 语义分块 │ └── 追求速度 → 递归分块（chunk_size=500） │ ├── 💻 代码文档 │ └── 按函数/类分块 │ ├── 📊 表格数据 │ └── 按行分块 + 表头元数据 │ └── 🤷 混合类型 / 不确定 └── 递归分块（chunk_size=500, overlap=50）← 万能选择

🔑 本篇核心要点回顾

📌下篇预告：《混合搜索实战：向量检索 + BM25 关键词，准确率提升 30% 的秘诀 🔍》

💬有问题欢迎评论区讨论，觉得有用请点赞收藏 👍

作者：高炉炼铁智能化技术研究者，专注钢铁冶金与人工智能 交叉领域。

👍 如果觉得有帮助，请点赞、收藏、转发！
版权归作者所有，未经许可请勿抄袭，套用，商用(或其它具有利益性行为)。
🔔 关注专栏，不错过后续精彩内容