Helloagent chapter8 ragmemory

1. 基于LLM的智能体而言通常面临两个根本性局限对话状态的遗忘和内置知识的局限。局限一无状态导致的对话遗忘:上下文丢失窗口限制个性化缺失无法记住用户喜好一致性问题前后矛盾学习能力无法学会改进自己局限二模型内置知识的局限性知识时效性大模型的训练数据有时间截止点专业领域知识通用模型在特定领域的深度知识可能不足微调加强通用模型/专用模型选择专用模型更佳事实准确性通过检索验证减少模型的幻觉问题模型幻觉是指模型生成了看起来合理、表达流畅但实际上没有事实依据、与资料矛盾甚至完全虚构的内容大语言模型的基本任务是预测下一个 token而不是查询事实数据库。通过检索验证可以找到事实依据再进行回答这就是RAG的基本逻辑。ps但rag的错误会体现在资料错误、rerank错误、chunk截断、过度推断、证据是否充足没有就返回没有别强憋一个答案出来所以建议rag用混合检索BM25向量检索rerank2. 记忆系统设计a. infra存储抽象层记忆type层顶端调用由下往上b. 不同的记忆类型对应不同的存储抽象层WorkingMemory工作记忆短期记忆对应内存EpisodicMemory情景记忆包含了丰富的上下文信息并支持按时间序列或主题进行回顾式检索SemanticMemory语义记忆更为抽象的知识、概念和规则。例如通过对话了解到的用户偏好、需要长期遵守的指令或领域知识点PerceptualMemory感知记忆多模态信息c.人的记忆过程编码 存储 检索 整合 遗忘编码embeding存储结构检索整合短期记忆上升为长期记忆遗忘基于重要性、时效3. RAG架构设计多模态转化 - 分快 - 统一嵌入(向量化) - 检索(MQE、HyDE)分块(Chunk)专门针对markdown的分块策略标准Markdown文本 → 标题层次解析 → 段落语义分割 → Token计算分块 → 重叠策略优化其中重叠策略优化切分相邻chunk时保留一部分重复内容重叠太少会导致上下文语义的断裂重叠太多会导致空间的存储失效这是一个tradeoff向量化检索MQEMulti-Query Expansion同一个问题可以有多种不同的表述方式而不同的表述可能匹配到不同的相关文档。例如如何学习Python可以扩展为Python入门教程、Python学习方法、Python编程指南等多个查询。通过并行执行这些扩展查询并合并结果系统能够覆盖更广泛的相关文档避免因用词差异而遗漏重要信息。HyDEHypothetical Document EmbeddingsHyDE传统的检索方法是用问题去匹配文档HyDE通过让LLM先生成一个假设性的答案段落然后用这个答案段落去检索真实文档从而缩小了查询和文档之间的语义鸿沟。