Complete RAG Pipeline：Retrieve → Augment → Generate 完整全流程详解-拓冰建站

Complete RAG Pipeline：Retrieve → Augment → Generate 完整全流程详解

RAG = Retrieval-Augmented Generation，检索增强生成，用来解决大模型知识过时、幻觉、私有资料无法读取三大痛点。标准流水线固定三段式：Retrieve（检索）→ Augment（上下文增强）→ Generate（生成回答），结合你上面那段 Python 代码同步讲解。

一、总流程逻辑

用户提问 → 向量数据库召回相关文档片段 → 把文档拼进 Prompt 作为参考上下文 → 交给 LLM 依据参考资料输出答案核心目的：不让模型凭空编造，所有回答严格依托私有知识库。

1. Retrieve 检索阶段（召回资料）

作用

把用户自然语言问题，转换成向量，在向量库中匹配相似度最高的知识库片段，拿到参考素材。

分步执行

Embedding 向量化使用嵌入模型（如 all-MiniLM）将用户问题文本转为浮点向量数组：
python
运行
```
query_embedding = model.encode(user_question).tolist()
```
向量库语义检索（ChromaDB）向向量集合发起查询，返回 Top-N 最相似片段（示例取 3 条）
python
运行
```
results = collection.query( query_embeddings=[query_embedding], n_results=3 )
```
- query_embeddings：接口要求向量数组，单向量需套[]
- n_results=3：召回 3 段相关性最高的文档块

分离文本与元数据

python

运行

retrieved_chunks = results['documents'][0] # 检索到的文本内容 metadatas = results['metadatas'][0] # 文档来源、章节等信息

阶段产出

若干段和用户问题强相关的知识库文本 + 每段文档的来源标记（用于文末引用）

2. Augment 上下文增强阶段（构造限定 Prompt）

作用

把上一步检索到的文档，格式化拼接进提示词，给大模型提供专属参考上下文，同时设置规则约束模型输出。

两步构成：System Prompt + User Prompt

（1）System Prompt 系统指令（全局约束规则）

固定规则，全程控制模型行为：

python

运行

system_prompt = """You are TechCorp's helpful AI assistant. Answer ONLY based on the provided context. If the answer is not in the context, say: 'I don't have that information in the provided documents.'"""

核心约束：

仅能使用下文给出的文档作答
无对应信息禁止编造，统一固定话术回复，杜绝幻觉

（2）拼接上下文文本

标准化格式化检索片段，区分不同文档，方便模型阅读：

python

运行

context_text = "Context from TechCorp documents:\n\n" for i, chunk in enumerate(retrieved_chunks, 1): context_text += f"[Document {i}]\n{chunk}\n\n"

输出格式示例：

plaintext

Context from TechCorp documents: [Document 1] 员工数据安全规范... [Document 2] 公司存储权限规则...

（3）组装完整用户输入 Prompt

把上下文、用户原始问题合并，引导模型输出答案：

python

运行

user_prompt = f"{context_text}\nQuestion: {user_question}\n\nAnswer:"

阶段产出

一套完整、带私有知识库参考、带行为约束的对话 Prompt

3. Generate 生成阶段（调用大模型输出答案）

作用

将 system + user 两段提示词封装为标准对话消息，调用 LLM 生成依托文档的回答，最后附加文档来源引用。

分步执行

组装 OpenAI 标准对话消息格式

python

运行

messages = [ {"role": "system", "content": system_prompt}, {"role": "user", "content": user_prompt} ]

调用大模型客户端推理

python

运行

response = client_llm.invoke(messages) answer = response.content

文档来源去重、添加引用标注

python

运行

sources = [meta['source'] for meta in metadatas] unique_sources = list(set(sources)) # set自动去重 final_response = f"{answer}\n\n📎 Sources: {', '.join(unique_sources)}"

阶段产出

最终完整回答：模型答案 + 参考文档来源列表，方便溯源校验

三、三段式流水线核心价值对比

表格

阶段	解决什么问题	关键输出
Retrieve	海量知识库快速找到和问题相关内容，降低上下文长度	相关文档片段 chunks
Augment	规范输入格式、约束模型，强制模型以知识库为依据	带参考资料的完整 Prompt
Generate	基于给定资料生成通顺、合规、可溯源的回答	带引用的最终答案

四、整体优缺点

优势

支持私有知识库（企业文档、本地文件、内部手册），不依赖模型训练数据
实时更新资料，无需微调模型，成本低
大幅降低大模型幻觉，可标注文档来源，便于核对

局限

检索质量决定最终效果：召回无关文档会误导模型
存在上下文长度限制，检索过多片段会超出 LLM 窗口上限

五、简易调用演示

python

运行

# 调用整条RAG流水线 result = rag_pipeline("What's the company data storage rule?") print(result)

控制台完整输出流程：

打印用户问题
打印检索日志，展示召回的文档名称与章节
打印上下文构建完成提示
调用模型生成答案
输出回答 + 文末引用来源

Complete RAG Pipeline：Retrieve → Augment → Generate 完整全流程详解