RAG - Charlie

文本切割的方式有哪些？

• 按照固定大小切割
• 按照句子语义切割：有？、。！；为句子的结尾
• 按照句子语义和固定大小同时切割，并设置ChunkSize（一般是300多少个字符）和ChunkOverlap（与上一个重叠的字符数量）

RAG检索提高精准度

• 检索层优化
  • 稠密向量擅长进行语义理解
  • 使用稀疏检索和关键词匹配来对对专有名词、日期、数字这类精准匹配
  • 们可能会召回更多的topK然后对topK进行关键词匹配，最后再借助于重排序LLM进行重排序。
• 温度调整
  • 0.1~0.2,较低的温度可以让大模型没有那么高的创造性
• 引用溯源
  • 模型通过上下文中的chunk生成答案之后，要告诉用户这个回答是基于哪个文档中的哪个内容来得出的。