LLM 幻觉问题全面解析

LLM 幻觉问题全面解析

目录

  • LLM 幻觉问题全面解析
    • 一、什么是 LLM 幻觉(Hallucination)
    • 二、现有主流解决方案
      • 1. 训练阶段(需要模型权重访问)
      • 2. 推理阶段
      • 3. 后处理阶段
      • 4. 不确定性估计
    • 三、通用层面的创新研究方向
      • 1. 幻觉的"机理解释"方向(可解释性)
      • 2. 不确定性量化的新范式
      • 3. 知识边界感知(Knowledge Boundary Awareness)
      • 4. 多模态幻觉
      • 5. Agent / Tool Use 场景的幻觉
    • 四、针对"调用 API 的 LLM"的细分创新方向 ⭐
      • 1. 黑盒不确定性估计(Black-box UQ)
      • 2. 黑盒 RAG 的精细化创新
      • 领域化幻觉抑制
      • 4. API 经济性约束下的幻觉抑制
      • 5. 黑盒模型的"幻觉指纹"研究
      • 6. 评测与基准(Evaluation)

一、什么是 LLM 幻觉(Hallucination)

LLM 幻觉指大语言模型生成的内容看似流畅合理,但实际上与事实不符、与输入不一致,或者纯属编造的现象。学术界(Huang et al., 2023《A Survey on Hallucination in LLMs》)通常将其分为两大类:

类型子类示例
事实性幻觉 (Factuality)事实捏造 (Fabrication)编造不存在的论文、API、人物
事实不一致 (Inconsistency)“爱因斯坦发明了电话”
忠实性幻觉 (Faithfulness)指令不一致用户问 A,回答 B
上下文不一致摘要时引入原文没有的信息
逻辑不一致推理链条前后矛盾

<