DeepEval完整指南开源LLM评测框架从入门到生产实践【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval你的AI应用答得对不对还在靠感觉吗每次评测都调云端API成本扛得住吗业务数据动辄几百万条敢全部交给外部服务吗DeepEvalv4.2.0是一个开源的 LLM 评测框架把 G-Eval、答案相关性、幻觉检测等 30 评测指标直接跑在你的机器上用类似 Pytest 的单测方式给大模型系统打分。3 分钟上手一条命令装好一个用例跑通最快的验证方式是让分数自己说话。DeepEval 支持 Python 3.9安装只需一行pip install -U deepeval下面是无需 Pytest 的最小可运行示例适合先在 notebook 里试水from deepeval import evaluate from deepeval.metrics import AnswerRelevancyMetric from deepeval.test_case import LLMTestCase metric AnswerRelevancyMetric(threshold0.7) test_case LLMTestCase( inputWhat if these shoes dont fit?, actual_outputWe offer a 30-day full refund at no extra costs., retrieval_context[All customers are eligible for a 30 day full refund at no extra costs.] ) evaluate([test_case], [metric])运行后终端会打印 01 的得分与通过/未通过结论。正式项目则推荐 Pytest 风格把用例写进test_chatbot.py再执行deepeval test run test_chatbot.py一条命令即得带指标的评测报告。核心能力一览30 内置指标一表看懂指标全部集中在 deepeval/metrics/ 目录按场景开箱即用能力/指标说明适用场景AnswerRelevancyMetric衡量回答与问题的相关程度RAG 问答、客服机器人FaithfulnessMetric核对回答与检索上下文是否一致知识库问答、防幻觉GEval基于 LLM 评判的任意自定义标准指标业务专属质量标准TaskCompletionMetric沿完整轨迹评估 Agent 是否达成目标智能体工作流ToxicityMetric / BiasMetric检测有害与偏见内容内容安全、合规审查GEval是其中最灵活的一个你只需写一句自然语言的评判标准criteria并声明参与评判的参数它就以LLM 当评委的方式按标准打分精度接近人工评审。对于回答要像资深客服这类说不清公式的业务标准它是唯一不用改代码就能落地的方案。AnswerRelevancyMetric则是 RAG 场景的第一道闸门它从语义层面判断回答是否切题而不是简单的字符串比对。配合threshold0.7这类阈值可以直接作为 CI 里的回归测试红线。落地场景从客服机器人到 Agent 团队RAG 客服团队上线前用黄金数据集批量验证回答质量。以 30 天退货政策为例同时挂上相关性、事实忠实度与安全指标from deepeval.metrics import ( AnswerRelevancyMetric, FaithfulnessMetric, PIILeakageMetric ) metrics [ AnswerRelevancyMetric(threshold0.7), FaithfulnessMetric(threshold0.8), PIILeakageMetric(), # 防止回答泄露客户隐私 ]Agent 开发者不再只测最终答案而是用 deepeval/tracing/ 的observe()装饰器记录每一步决策与工具调用再用dataset.evals_iterator()对完整轨迹跑 TaskCompletion、Tool Correctness 等指标——哪一步走歪了一眼可见。安全与合规角色把 Toxicity、Bias、PIILeakage 指标编入定期扫描敏感数据全程不出本机审计时只交报告不交原始数据。进阶玩法自定义指标与全轨迹评测自定义业务指标继承 deepeval/metrics/base_metric.py 中的BaseMetric实现measure(test_case)方法返回 01 的分数即可。自定义指标会自动接入evaluate、assert_test等整套生态无需额外适配。基准测试想在 MMLU、HumanEval、GSM8K、BIG-Bench Hard 等公开基准上横评任意模型deepeval/benchmarks/ 里每个基准都是独立模块十几行代码即可跑出可对比的分数报告选型争议用数据说话。生态与下一步DeepEval 与 LangChain、LangGraph、CrewAI、LlamaIndex、OpenAI、Pydantic AI 等主流框架均有官方集成模块评测能力可以直接嵌入现有 CI/CD 流水线做回归卡点。配套生态还包括合成数据集生成器deepeval/synthesizer/、基于评测结果自动优化提示词的工具deepeval/optimizer/以及与 Confident AI 平台打通的云端报告与生产监控。官方 Roadmap 中DAG 自定义指标与 Guardrails 尚在开发中值得关注后续版本。行动清单第一步克隆仓库git clone https://gitcode.com/GitHub_Trending/de/deepeval执行pip install -U deepeval用上面的最小示例跑通第一个用例。第二步为你的应用挑 23 个指标RAG 选相关性忠实度Agent 选任务完成度构建 20 条以上的黄金数据集。第三步把deepeval test run接入 CI让每次模型或提示词变更都自动过一遍质量红线。从凭感觉到看分数只差一次运行 【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考