RAG 技术全景综述：从基础检索到认知智能的演进之路（2026）

作者按：本文立足于 2026 年 7 月的技术现状，对 RAG（Retrieval-Augmented Generation，检索增强生成）技术进行系统性综述。无论你是刚接触 AI 应用的初学者，还是正在优化生产系统的资深工程师，希望这篇文章都能给你带来新的认知增量。

目录

• 一、为什么需要 RAG？
• 二、RAG 的核心架构与完整流程
• 三、关键技术深度拆解
• 四、RAG 的三代演进
• 五、七大核心范式变体
• 六、RAG 已死？长上下文之争
• 七、评估体系：如何量化 RAG 的好坏
• 八、2026 年产业落地现状
• 九、未来展望：2026-2028 技术路线图
• 十、总结

一、为什么需要 RAG？

1.1 大语言模型的三大原生缺陷

大语言模型（LLM）虽然能力强大，但存在三个结构性问题：

1.2 RAG 的核心思想

RAG 的解法极其优雅——用检索替代记忆，用事实锚定生成：

在生成答案之前，先从外部知识库中检索相关信息，将其作为上下文注入 LLM，让模型"开卷考试"而非"闭卷默写"。

这一范式由 Facebook AI Research（FAIR）于2020 年在论文“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”中首次提出，并在 2023 年随 ChatGPT 的爆发而成为工业界标配。

1.3 一个直觉类比

没有 RAG 的 LLM = 一个博学但记忆停留在去年的专家，且爱面子不肯说"不知道" 有 RAG 的 LLM = 同一个专家 + 一个实时更新的资料库 + 一个"查不到就说不知道"的规矩

二、RAG 的核心架构与完整流程

2.1 全局架构图

RAG 系统分为离线索引阶段（数据准备）和在线查询阶段（实时问答）两大部分：

┌─────────────────────────────────────────────────────────────────┐ │ 离线索引阶段 │ │ │ │ 原始数据 → 文档解析/清洗 → 文本分块 → 向量化 → 向量数据库 │ │ (PDF/Word/ (OCR/格式 (语义切分/ (Embedding (Milvus/ │ │ HTML/DB) 转换) 重叠窗口) 模型) Qdrant) │ └─────────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────────┐ │ 在线查询阶段 │ │ │ │ 用户Query → Query改写 → 混合检索 → Rerank重排序 → Prompt组装 │ │ (HyDE/扩展) (向量+BM25) (Cross-Encoder) (上下文注入)│ │ │ │ → LLM生成 → 最终回答 │ └─────────────────────────────────────────────────────────────────┘

2.2 离线索引阶段详解

① 文档解析与清洗

将 PDF、Word、HTML、Markdown、数据库等异构数据源统一转换为纯文本。

• 去除页眉页脚、水印、广告等噪声
• 表格和图片需使用 OCR 或多模态模型（如 GPT-4o Vision）提取语义
• 2026 年趋势：多模态解析已成为标配，纯文本索引无法处理 PDF 中的图表

② 文本分块（Chunking）

这是影响检索质量的最关键且最容易被低估的环节。

💡 经验法则：Chunk 大小通常在 256~1024 tokens 之间，没有银弹，必须针对具体数据做实验。

③ 向量化（Embedding）

使用 Embedding 模型将文本块转为高维向量（通常 768~4096 维）。

2026 年主流 Embedding 模型：

关键技术：Instruction-aware Embedding（指令感知嵌入）

在 Query 前拼接任务指令（如"Represent this sentence for searching relevant passages: {query}"），使模型理解检索意图，让 Query 和 Document 在向量空间中更对齐。这是 2024-2026 年 Embedding 领域最重要的进步之一。

④ 存储

• 向量数据库：Milvus、Qdrant、Weaviate、Pinecone、Chroma
• 最佳实践：同时建立倒排索引（Elasticsearch/OpenSearch），为混合检索做准备

2.3 在线查询阶段详解

① Query 理解与改写

用户的原始提问往往不适合直接检索：

② 混合检索（Hybrid Search）

单一检索方式很难覆盖所有场景，2026 年工业界标配是混合检索：

┌── 语义检索（向量相似度）──→ 擅长理解意图 用户Query ─────────┤ └── 关键词检索（BM25）────→ 擅长精确匹配专有名词 ↓ RRF / 加权融合排序 ↓ Top-100~500 候选

• 语义检索：基于 Cosine Similarity，理解"意思相近"
• 关键词检索：基于 BM25/TF-IDF，精确匹配型号、代码、人名
• 融合算法：RRF（Reciprocal Rank Fusion）是最常用的排序融合方法

③ Rerank 重排序

这是 RAG 中"承上启下"的质量守门员，位于检索之后、生成之前。

检索召回 Top-100~500 → Rerank精排 → Top-5~10 → 送入LLM

为什么 Rerank 不可或缺？

• Bi-Encoder 将 Query 和 Doc 独立编码，丢失交互信息
• Cross-Encoder 联合编码能捕捉细粒度语义匹配
• 不加 Rerank 的 RAG 在生产环境中几乎无法达到可用标准

2026 年主流 Rerank 模型：bge-reranker-v2-m3、Cohere Rerank 3.5、Jina Reranker v2

④ Prompt 组装与生成

• 将 Rerank 后的 Chunk 按相关性排序拼入 Prompt
• 要求 LLM 标注引用来源（[1],[2]），便于溯源
• 设置"如果上下文中没有答案，请回答’我不确定’"的兜底指令

三、关键技术深度拆解

3.1 Embedding 技术演进

2020: 通用句向量（Sentence-BERT） ↓ 2023: 对比学习 + 硬负例挖掘（BGE, E5） ↓ 2024: 指令感知嵌入（Instruction-tuned, E5-Mistral） ↓ 2025: 多粒度多任务统一（BGE-M3: Dense + Sparse + ColBERT） ↓ 2026: 领域自适应微调 + 多模态Embedding（文本+图像+表格统一空间）

3.2 检索技术对比

3.3 F1 Score 与检索评估

在检索阶段，F1 Score 用于综合衡量检索器"找得准"又"找得全"的能力：

F 1 = 2 × P r e c i s i o n @ K × R e c a l l @ K P r e c i s i o n @ K + R e c a l l @ K F1 = 2 \times \frac{Precision@K \times Recall@K}{Precision@K + Recall@K}F1=2×Precision@K+Recall@KPrecision@K×Recall@K​

• Precision@K：检索到的 Top-K 个 Chunk 中，真正相关的比例
• Recall@K：所有相关 Chunk 中，被检索到 Top-K 里的比例
• F1 使用调和平均而非算术平均，对极端值更敏感——只有 Precision 和 Recall 都高时，F1 才会高

四、RAG 的三代演进

4.1 第一代：Naive RAG（2023-2024）

Query → Embedding → 向量检索 → Top-K → 拼接Prompt → LLM生成

特点：简单粗暴，"检索+拼接"一步到位。

致命问题：

• 检索质量差（语义鸿沟、分块不当）
• 无法处理跨文档推理
• 对噪声 Chunk 毫无抵抗力
• 只能被动应答，无法自我纠错

4.2 第二代：Advanced RAG（2024-2025）

在 Naive RAG 基础上，对检索前、检索中、检索后三个阶段分别优化：

[检索前] Query改写 / HyDE / 意图路由 ↓ [检索中] 混合检索 / 多路召回 / 层级索引 ↓ [检索后] Rerank / 上下文压缩 / 去重过滤 ↓ [生成] Prompt工程 / 引用标注 / 置信度校准

核心进步：模块化、可组合、每个环节可独立优化。

4.3 第三代：Agentic RAG（2025-2026 主流）

核心理念：让 LLM 主动决策何时检索、检索什么、如何验证结果。

用户提问 ↓ 【路由Agent】→ 判断问题类型 ├─ 简单事实 → 走向量检索（快速） ├─ 复杂推理 → 走GraphRAG + 多步推理 ├─ 数字分析 → 走结构化数据查询（SQL） └─ 开放创作 → 直接LLM生成 ↓ 【检索Agent】→ 执行具体检索策略 ↓ 【验证Agent】→ 评估检索结果质量 ├─ 满意 → 生成回答 └─ 不满意 → 重新检索 / 换数据源 / 拒绝回答 ↓ 【生成Agent】→ 综合多源信息，生成最终回答

与前两代的本质区别：

五、七大核心范式变体

截至 2026 年中，RAG 已从单一架构裂变为一个庞大的技术家族：

5.1 Corrective RAG（CRAG，校正型）

核心思想：在检索后加入"质检"步骤。

检索结果 → LLM评估相关性 ├─ Correct（高分）→ 直接生成 ├─ Incorrect（低分）→ 回退到Web搜索 / 拒绝回答 └─ Ambiguous（中分）→ 合并处理 + 知识精炼

适用场景：对幻觉零容忍的严肃场景（医疗、金融、法律）。

5.2 Self-RAG（自省型）

核心思想：在整个流程中设置四个自我反思检查点：

1. Retrieve：是否需要检索？（有些问题不需要）
2. IsRel：检索到的文档是否相关？
3. IsSup：生成的答案是否有文档支撑？
4. IsUse：最终回答对用户是否有用？

模型在训练时学习生成特殊的反思Token（如[Retrieve],[ISREL],[ISSUP]），推理时根据这些Token动态调整行为。

5.3 Adaptive RAG（自适应型）

核心思想：通过分类器将问题按复杂度分级，匹配不同复杂度的处理策略：

简单问题（"今天星期几"）→ 直接LLM回答，不检索 中等问题（"公司报销流程"）→ 单步RAG 复杂问题（"对比三家供应商的优劣"）→ 多步Agentic RAG

价值：避免"杀鸡用牛刀"，在效果和成本之间取得平衡。

5.4 GraphRAG（图增强型）

2026 年最热门的 RAG 变体。2026 年 6 月，微软 GraphRAG 论文登上 Nature 子刊，标志着该技术从实验走向规模化。

核心思想：在传统向量检索之外，引入知识图谱作为关系网络。

文档 → LLM提取实体和关系 → 构建知识图谱 ↓ 社区检测（Leiden算法） ↓ 分层社区摘要 ↓ 查询时：局部检索（实体邻域）+ 全局检索（社区摘要）

解决的核心问题：

2026 年里程碑：

• 微软发布LazyGraphRAG，将索引成本降低99.9%
• 工信部 2026 工业节能降碳诊断项目使用 GraphRAG 进行跨行业碳排放核算
• Multimodal GraphRAG（融合文本+图像+表格的图检索）开始落地

5.5 RAG-Fusion（融合型）

核心思想：生成多个改写后的 Query，分别检索，然后用 RRF 融合所有结果。

原始Query → LLM生成N个改写Query ↓ 每个改写Query分别检索 → 得到N组结果 ↓ RRF融合排序 → 去重 → Top-K → 生成

价值：通过"多视角检索"提高召回率，减少单一Query表述偏差的影响。

5.6 Speculative RAG（推测型）

核心思想：借鉴推测解码（Speculative Decoding）的思想，用小模型快速生成多个候选答案，大模型验证选择最优。

价值：在不牺牲质量的前提下，将端到端延迟降低 50%~70%。

5.7 Cache-Augmented Generation（CAG，缓存增强型）

核心思想：对于高频重复查询，将检索结果和生成结果缓存，避免重复计算。

用户Query → 语义相似度匹配缓存 ├─ 命中（相似度>阈值）→ 直接返回缓存答案 └─ 未命中 → 走完整RAG流程 → 结果写入缓存

2026 年进展：Semantic Cache + KV Cache 联合优化，将热门查询的响应时间从秒级压缩到毫秒级。

六、RAG 已死？长上下文之争

6.1 争论背景

2025 年末到 2026 年中，两股叙事同时刷屏：

• "RAG 已死"派：Chroma CEO Jeff Huber 等人主张，随着上下文窗口突破百万 Token（Gemini 支持 200 万，Claude 支持 20 万），直接把文档塞进上下文即可，RAG 是"过渡性补丁"。
• "Long Context 万能"派：认为 Needle-in-a-Haystack 测试证明长上下文模型能精准定位任意位置的信息。

6.2 冷静对账

6.3 2026 年的共识

RAG 没有死，Long Context 也不是万能的。两者正在融合。

• 长上下文适合单文档深度理解（如分析一份 200 页合同）
• RAG 适合海量知识库精准定位（如从 10 万份文档中找答案）
• 最佳实践：RAG 负责"找到"，Long Context 负责"理解"——先用 RAG 缩小范围到 5~10 个 Chunk，再利用长上下文窗口做深度推理

七、评估体系：如何量化 RAG 的好坏

7.1 为什么评估如此困难？

据 Gartner 2026 年报告，全球 TOP100 企业中 73% 已部署 RAG，但41% 的项目因测试失效被迫回滚。传统 API 测试在 RAG 多阶段耦合链路下全面失灵。

7.2 RAGAS 评估框架

RAGAS（Retrieval-Augmented Generation Assessment）是 2026 年最主流的 RAG 评估框架，从检索质量和生成质量两大维度打分：

检索质量指标

生成质量指标

7.3 2026 年评估新趋势

• RAGAS v2.4引入 KL 散度指标，衡量检索分布与理想分布的偏差
• TruEra实现三级证据链追踪（Chunk → Sentence → Claim）
• 动态对抗知识库：构建对抗性测试集，检测检索偏移和注入攻击
• LLM-as-Judge + 人工抽检混合模式成为生产标准
• 全链路可观测性：从 Query 到最终 Answer 的每一步都可追踪、可归因

7.4 评估实操建议

# RAGAS 评估示例（伪代码）fromragasimportevaluatefromragas.metricsimport(faithfulness,answer_relevancy,context_precision,context_recall)result=evaluate(dataset=eval_dataset,# 包含 question, contexts, answer, ground_truthmetrics=[faithfulness,answer_relevancy,context_precision,context_recall],llm=judge_llm# 用GPT-4o或Claude作为裁判)print(result)# {'faithfulness': 0.87, 'answer_relevancy': 0.91,# 'context_precision': 0.78, 'context_recall': 0.82}

💡 黄金法则：在优化任何环节之前，先建立评估基线。否则优化就是盲人摸象。

八、2026 年产业落地现状

8.1 部署规模

• 全球企业级 RAG 应用部署量同比增长217%（Gartner 2026）
• 金融、医疗、政务成为三大核心落地场景
• 但线上事故率仍达18.3%，远高于传统 API 的 0.2%

8.2 五大架构选型（2026）

8.3 典型技术栈（2026 推荐）

Embedding: BGE-M3 / E5-Mistral-7B 向量数据库: Milvus / Qdrant 关键词检索: Elasticsearch (BM25) Rerank: bge-reranker-v2-m3 / Cohere Rerank 3.5 编排框架: LangChain / LlamaIndex / Haystack 图数据库: Neo4j / NebulaGraph (GraphRAG) 评估: RAGAS v2.4 + LangSmith LLM: GPT-5 / Claude 4 / Qwen3 / Llama 4

8.4 常见失败模式

九、未来展望：2026-2028 技术路线图

9.1 三大确定性趋势

1. 多模态融合：文本、图像、表格、视频的联合检索与生成将成为标配。Multimodal GraphRAG 已在 2026 年开始落地。

2. 自治化演进：RAG 系统将具备自我优化能力——自动调整分块策略、检索参数、Rerank 阈值，无需人工干预。

3. RAG 与 Agent 深度融合：RAG 不再是独立模块，而是 Agent 工具链中的"知识获取能力"。Agentic RAG 3.0 将 1M 上下文、Multimodal GraphRAG、Agentic Retrieval 合为一体。

9.2 关键研究前沿

• 实时推理优化：通过模型剪枝、量化、推测解码将检索-生成延迟压缩至 500ms 以内
• 可信 RAG：形式化验证检索结果的完备性和一致性，满足金融/医疗合规要求
• 个性化 RAG：结合用户画像和历史行为，动态调整检索策略
• 联邦 RAG：在数据不出域的前提下，跨组织协同检索

9.3 给不同读者的建议

十、总结

RAG 从 2020 年的学术论文，到 2023 年的工程爆发，再到 2026 年的认知智能基础设施，走过了一条从"临时补丁"到"核心范式"的道路。

三个核心认知：

1. RAG 不是单一技术，而是一个系统工程。它的效果取决于分块、Embedding、检索、Rerank、Prompt、评估等每个环节的协同优化。

2. 没有最好的 RAG 架构，只有最合适的。Naive RAG 在简单场景下依然有效，GraphRAG 和 Agentic RAG 解决的是更复杂的问题。

3. 评估先于优化。无法量化的改进不是改进。建立可靠的评估体系，是 RAG 从 Demo 走向生产的分水岭。

RAG 的本质，是让 AI 学会"知之为知之，不知为不知"——这或许比任何花哨的技术都更重要。

参考资料

• Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, NeurIPS 2020
• Microsoft GraphRAG, Nature 子刊, 2026.06
• Asai et al., “Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection”, ICLR 2024
• Yan et al., “Corrective Retrieval Augmented Generation”, arXiv 2024
• Gartner, “Enterprise RAG Deployment Report”, 2026
• RAGAS Documentation, https://docs.ragas.io
• 腾讯云开发者社区, “2026年RAG技术全景演进”, 2026.06

最后更新：2026 年 7 月 30 日