151、RAG 检索增强生成（五）：评估体系——RAGAS 指标、人工评测与线上监控

151、RAG 检索增强生成（五）：评估体系——RAGAS 指标、人工评测与线上监控上周五凌晨两点，我被生产环境告警电话吵醒。用户反馈一个法律咨询机器人回答“根据《民法典》第X条，您需要承担全部责任”，但实际法条引用完全错误。我查了日志，发现RAG检索到的文档片段是某篇自媒体文章，而非官方法条库。更诡异的是，离线评测时这个case的RAGAS分数高达0.92——典型的“高分低能”。这个坑让我意识到：RAG系统的评估，远比想象中复杂。今天这篇笔记，就聊聊我踩过的评估体系那些坑。RAGAS 指标：别被高分骗了RAGAS（Retrieval Augmented Generation Assessment）是目前最流行的自动化评估框架，但它不是银弹。我见过太多团队把RAGAS分数当KPI，结果上线后用户满意度暴跌。Faithfulness（忠实度）这个指标最容易造假。它衡量生成内容是否基于检索到的文档，但实现方式是通过LLM自评。我遇到过一种情况：检索到的文档本身是错的，但生成内容忠实复述了错误信息，RAGAS给满分。解决方案是加一层“文档可信度”前置过滤——对检索结果做来源校验，比如法律文档必须来自.gov域名。Answer Relevancy（答案相关性）的坑在于语义漂移。用户问“北京今天限行吗”，系统检索到“北京限行政策2024”，生成“根据政策，限行尾号是1和6”。RAGAS认为相关，但用户实际想问的是“今天是否限行”——答案缺少时间限