0707——RAG实现demo功能拓展

1扩展后rag整体语义分块模型 gemma【添加】:2bPDF 原始长文本 → 完整语义 Chunk预处理一次性调用嵌入模型 mxbai-embed-largeChunk → 语义向量入库、检索提问时调用生成大模型 deepseek-r1:1.5b检索上下文 问题 → 自然语言回答对话阶段调用 三者各司其职互不替代、互不兼任核心任务。2需要准确分块chunk的原因向量嵌入模型存在最大输入长度限制一段上万字完整文本无法一次性送入模型生成向量必须切割同时单个 Chunk 必须承载完整独立知识点避免一个知识点被拆分到两个块导致检索丢失上下文块不能过小单句碎片化丢失上下文语义块不能过大包含多个无关知识点向量语义混杂检索匹配准确率下降。3流程串行顺序 PDF 原文 → 独立分块小模型识别语义断点、切割完整知识块 → 干净语义 Chunk → mxbai-embed-large 向量模型生成向量入库实现后全链路理解程序先把 PDF 英语课本交给 Gemma 按课文知识点自动拆成一小段一小段再把 txt 文档按固定重叠长度切开所有片段全部转成数字向量存好你提问时程序先把问题也转成向量找出课本 txt 里最贴合你问题的 2 段原文再把原文和问题一起发给 DeepSeek 大模型让它只能照着原文给答案不知道就如实说无法回答全程不会乱编内容。