文档教程知识库【免费下载链接】developer-roadmapInteractive roadmaps, guides and other educational content to help developers grow in their careers.项目地址https://gitcode.com/GitHub_Trending/de/developer-roadmap点击查看免费下载导读本篇指南以 developer-roadmap 仓库中 ai-engineer 学习路径的 RAG 主题文档为骨架系统讲解 Retrieval-Augmented Generation检索增强生成的核心原理、检索流程、向量数据库、分块策略、动态过滤与 RAG Agent 等工程要点并结合仓库内 ai-engineer、ai-agents 等目录下的关联文档与真实实现帮助读者建立从查询 → 嵌入 → 检索 → 生成到生产级 RAG 应用的完整知识闭环。什么是 RAG检索增强生成的核心概念Retrieval-Augmented GenerationRAG是一种将**信息检索Information Retrieval与语言生成Language Generation**相结合的 AI 方法。它的核心目标是通过先从知识库或外部数据源中检索出相关数据再让语言模型基于这些检索到的信息生成回答从而产出更准确、上下文更相关的结果。RAG 之所以重要是因为它把生成式模型的输出锚定grounding在真实世界的数据之上减少幻觉Hallucination模型不再凭空生成而是以检索到的真实文档为事实依据保证信息时效性知识库可以随时更新模型无需重新训练即可获得最新信息提升可靠性回答可以追溯来源适合问答、摘要、聊天机器人等需要可靠、最新信息的任务。在 developer-roadmap 的 ai-engineer 学习路径 中RAG 主题文档ragsIX1BJWGwGmB4L063g0Frf.md将其定义为先在知识库中检索相关数据再基于这些信息用语言模型生成回答从而在问答、摘要和聊天机器人等任务中提供可靠、最新的信息。从架构上看RAG 系统由两个核心组件构成参见仓库中 what-are-rags 文档Retriever检索器负责在数据库或索引中搜索相关信息通常借助嵌入Embeddings与向量搜索实现Generator生成器负责基于检索到的上下文生成连贯、有依据的回答通常是一个大语言模型如 GPT 类模型。检索流程从查询到上下文的关键链路RAG 的检索过程详见 retrieval-process 文档可以概括为一条清晰的流水线查询向量化用户提交查询后系统先将查询文本转换为向量Embedding相似度检索用该向量在已预建索引的向量库中搜索找出语义上最相似、最相关的数据点加速技术为应对大规模数据通常采用近似最近邻Approximate Nearest Neighbor, ANN搜索来加快检索速度拼接上下文将检索到的相关文档/片段作为上下文连同原始查询一起喂给语言模型生成回答语言模型基于检索到的上下文生成准确、连贯的回答。嵌入Embeddings语义的数字表示嵌入是 RAG 检索的基石。根据仓库 embeddings 文档 的定义嵌入是数据如单词、句子或图像在低维空间中的稠密、连续向量表示嵌入捕捉数据中的语义关系与模式语义相似的内容在向量空间中距离更近例如词嵌入Word Embeddings根据词语的含义与上下文表示单词使模型能够理解同义词、类比等关系嵌入广泛应用于自然语言处理、推荐系统和图像识别等领域。嵌入模型参见 embedding-models 文档负责把文本或图像等数据转化为嵌入向量从而让我们可以对向量做数学运算来判断相似度、聚类相关条目并输入给机器学习模型。语义搜索超越关键词匹配嵌入驱动的检索本质上是一种语义搜索Semantic Search。根据仓库 semantic-search 文档 的说明语义搜索把查询与文档都转换为捕获含义与上下文的高维向量而不是只做精确的词汇匹配即使查询与文档中的术语不完全一致系统也能理解查询意图并检索到相关信息。这与传统关键词搜索BM25 等形成鲜明对比语义搜索关注这句话想表达什么意思而非这句话里出现了哪些词。向量数据库高维向量的存储与检索中枢RAG 系统中的知识库通常落地为向量数据库Vector Database。仓库 vector-databases 文档 指出向量数据库是专门用于存储、索引和检索高维向量的系统向量通常来自文本、图像或音频等数据的嵌入表示与传统数据库不同它们擅长管理非结构化数据通过相似度搜索比较向量、找出最接近的匹配借助 ANN 近似最近邻搜索等技术向量数据库即使在规模很大的数据集上也能保证快速、准确的检索。在 ai-engineer 学习路径中向量数据库是一整个主题族仓库内收录了多种主流实现向量数据库仓库对应文档ChromachromadSd2C9lNl-ymmCRT9_ZC3.mdFAISSfaissJurLbOO1Z8r6C3yUqRNwf.mdQdrantqdrantDwOAL5mOBgBiw-EQpAzQl.mdPineconepinecone_Cf7S1DCvX7p1_3-tP3C3.mdWeaviateweaviateVgUnrZGKVjAAO4n_llq5-.mdLanceDBlancedbrjaCNT3Li45kwu2gXckke.mdMongoDB Atlasmongodb-atlasj6bkm0VUgLkHdMDDJFiMC.mdSupabasesupabase9kT7EEQsbeD2WDdN9ADx7.md选择向量数据库时AI Engineer 通常需要权衡索引类型HNSW、IVF 等 ANN 算法、嵌入维度支持、过滤与混合检索能力、部署形态开源自托管 vs 云托管以及吞吐/延迟表现。分块Chunking让检索粒度恰到好处在把文档放入向量库之前必须先进行分块Chunking。根据仓库 chunking 文档 的说明分块把大型文档或数据源拆解为更小、更易管理的块chunk目的有二一是让检索器能在海量数据中高效搜索二是确保块大小落在模型 token/输入限制之内每个块通常是段落或章节被转换为嵌入并存入向量数据库查询时检索器搜索最相关的块而非整个文档从而实现更快、更准确的检索。常见分块策略包括固定长度分块按字符/token 数切分、按段落/章节语义分块、递归字符分块如 LangChain 的RecursiveCharacterTextSplitter以及结合重叠overlap窗口的分块。块大小与重叠率需要针对领域文档特征做实验调优过大则检索粒度粗糙、浪费上下文窗口过小则可能截断语义完整性。检索质量提升动态过滤与元数据筛选为了让 LLM 只收到与当前查询和用户最相关的上下文RAG 系统引入了动态过滤Dynamic Filters。仓库 rag-and-dynamic-filters 文档 指出RAG 通过提供来自外部源的、相关的、最新的信息来增强 LLM动态过滤是有选择地过滤检索结果的技术确保 LLM 只接收基于特定查询和用户的、最贴切的上下文最终得到更准确、更聚焦、上下文更合适的 LLM 回答。在工程实践中动态过滤通常表现为基于元数据如日期范围、文档类型、权限/租户隔离、语言的预过滤Pre-filtering或对检索结果按相关性分数、去重、去噪进行后过滤Post-filtering。它是 RAG 从demo 级走向生产级的关键优化点之一。RAG 与微调两种增强路线的选型RAG 常与**微调Fine-tuning**对比。仓库 rag-vs-fine-tuning 文档 给出了清晰的取舍框架维度Fine-tuning微调RAG检索增强生成方法在特定数据集上训练预训练模型使其更适应特定任务实时信息检索 生成访问最新外部数据知识边界局限于训练数据中的知识适合静态、专项任务可访问实时、动态外部数据回答有据可依适用场景专业化、任务固定的场景需要实时、基于事实回答的动态场景结论微调适合让模型学会某种稳定的行为/风格/技能RAG 适合让模型访问不断更新的私有知识库。二者并非互斥生产系统常采用微调 RAG的组合。实战落地RAG 应用场景与 Agent 化演进典型应用场景仓库 rag-usecases 文档 总结了 RAG 的核心落地场景聊天机器人与客户支持检索知识库给出准确、上下文感知的答复问答Question Answering基于私有或专业文档集回答事实性问题文档生成与内容摘要以检索到的真实内容为素材进行生成与总结语义搜索Semantic Search按语义相关性而非关键词匹配来召回内容。这些场景的共同点是都需要将生成结果锚定在真实、可追溯的数据之上从而提升可靠性、减少幻觉、改善用户体验。从一次性检索到 RAG Agent在 ai-agents 学习路径中RAG 进一步演化为RAG Agent参见 rag-agent 文档传统 RAG 是一次性检索生成文本前做一次上下文查找RAG Agent 则把检索作为推理过程的一部分它可以在任务执行中多次决定何时需要检索、多次查询外部知识源典型应用是在私有或专业文档集上进行问答Agent 可以自主规划检索动作。这意味着从检索 → 生成的固定两段式升级为推理 → 检索 → 推理 → 检索…的循环式智能体是 RAG 与 Agent 能力 结合的重要方向。框架与工具生态ai-engineer 学习路径中还覆盖了 RAG 相关的框架与工具文档可作为落地参考LangChain提供文档加载、分块、向量存储与检索链的经典 RAG 编排框架LlamaIndex面向数据框架的索引/检索组件Haystack模块化 RAG 流水线框架RAGFlow专门用于构建、评估与部署 RAG 流水线的框架提供数据加载器、检索器、生成器等模块化抽象便于实验不同组件并评估性能可观测与评估Langfuse、LangSmith、Ragas、DeepEval 等详见 llm-observability 与 llm-evaluations 相关文档。完整 RAG 流水线小结综合上述内容一个标准 RAG 系统的端到端流程可以概括为文档集 │ ① 分块Chunking ▼ 文档块 → ② 嵌入Embedding Model→ ③ 写入向量数据库索引 │ 用户查询 → ④ 查询嵌入化 → ⑤ ANN 相似度检索可选动态过滤 │ ⑥ 检索到的上下文 查询 → ⑦ LLM 生成回答 ▼ 有依据的回答① 分块控制检索粒度与 token 预算chunking 文档② 嵌入语义向量化embeddings 文档③ 索引存储向量数据库vector-databases 文档④⑤ 检索ANN 相似度搜索 动态过滤retrieval-process 文档、rag-and-dynamic-filters 文档⑥⑦ 生成LLM 基于检索上下文作答rags 文档。延伸阅读想进一步理解 RAG 在整个 AI Engineer 知识体系中的位置可查看 ai-engineer 学习路径 及 ai-agents 学习路径相关主题文档RAG 与微调对比rag-vs-fine-tuning、RAG 应用场景rag-usecases、RAG 实现what-are-rags、RAG Agentrag-agent、RAGFlow 框架ragflow。赞分享文档教程知识库【免费下载链接】developer-roadmapInteractive roadmaps, guides and other educational content to help developers grow in their careers.项目地址https://gitcode.com/GitHub_Trending/de/developer-roadmap点击查看免费下载相关推荐RAG 检索增强生成全解析从原理到实战落地指南RAG 检索增强生成全解析从原理到实战落地指南 导读 本文以 developer roadmap 仓库中 ai engineer 学习路线的 RAG 主题文档文档教程知识库ComfyUI-WanVideoWrapper 长视频生成指南用 Context Window 让 Wan 模型一次跑 3 分钟ComfyUI WanVideoWrapper 长视频生成指南用 Context Window 让 Wan 模型一次跑 3 分钟 打开一张人物照片挂上 Wa人工智能大模型媒体生成Easy-Vibe RAG 检索增强生成全解析从原理推导到企业级落地Easy Vibe RAG 检索增强生成全解析从原理推导到企业级落地 导读本文以 Easy Vibe 课程「RAG 简介」章节为主体系统讲解检索增强生成教程文档人工智能Vibe Coding创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考