人工智能大模型预训练微调LoRARLHF强化学习分布式训练【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址https://gitcode.com/gh_mirrors/pa/PaddleNLP点击查看免费下载BLEUbilingual evaluation understudy双语评估替补是机器翻译、文本生成、自动文摘等生成式任务中最经典的自动评价指标通过比较候选文本与多个参考译文之间的 n-gram 重合度来衡量生成质量。本文以 PaddleNLP 的 paddlenlp.metrics.bleu 模块为核心系统讲解 BLEU 的数学原理、BLEU与BLEUForDuReader两个类的完整 API、两种使用方式独立评估对象与paddle.metric.Metric训练指标并结合源码、单元测试与机器翻译示例predict.py给出可直接运行的实战代码。读完本文你将能够独立在翻译、问答、摘要类任务中接入并解释 BLEU 评估结果。一、BLEU 指标原理修正的 n-gram 精确率BLEU 由 Papineni 等人提出核心思想是候选译文与参考译文共享的 n-gram 越多质量越高。与朴素精确率不同BLEU 使用**修正的精确率modified precision来避免重复词导致的虚高得分并通过简短惩罚brevity penalty, BP**抑制过短译文的得分膨胀。在 PaddleNLP 的实现中见 paddlenlp/metrics/bleu.py修正精确率的统计分两步完成get_ngram(sent, n_size)将一条句子切分成连续 n 元组列表_ngram内部函数实现可选地通过label参数为每个 n-gram 拼接标签后缀get_match_size(cand_ngram, refs_ngram)对多条参考译文对每个 n-gram 取其在任一条参考中出现次数的最大值ref_set[...] max(...)候选端则统计自身出现次数最终匹配数取min(cand_count, ref_count)——这正是修正所在候选词在参考译文中最多只能被匹配其实际出现的次数杜绝了无脑重复带来的虚假命中。最终得分由两条公式决定源码 docstring 中的数学定义见 bleu.pyBP 1 若 c r e^(1 - r/c) 若 c ≤ r BLEU BP * exp(Σ_{n1}^{N} w_n * log p_n)其中c为候选句长度r为参考句长度实现中取与候选长度最接近的参考句长度见count_bpp_n为第 n 元组的修正精确率w_n为其权重默认均匀取1/n_size。二、BLEU类完整 API 与参数说明BLEU继承自paddle.metric.Metric见 bleu.py既可以作为独立评估对象使用也可以直接挂接到model.prepare()中作为训练/评估期指标。构造参数如下参数类型默认值说明trans_funccallableNone将网络输出output、label转换为候选/参考字符串列表的自定义转换函数vocabdict /paddlenlp.data.VocabNone目标语言词表。当trans_funcNone且作为paddle.metric.Metric使用时会调用内置default_trans_func此时必须提供vocabn_sizeint4n-gram 的最高阶数即最多统计到 4-gramweightslistNone各阶 n-gram 精确率的权重默认取[1/n_size] * n_size均匀权重namestrbleuMetric实例名称用于日志输出需要注意两点约束源码中均有校验见 bleu.pyweights的长度必须等于n_size否则抛出AssertionError调用update()时若既未提供trans_func也未提供vocab会抛出AttributeError提示用户二者必选其一。2.1 核心方法方法功能update(output, label, seq_maskNone)训练/推理时按批次更新内部状态内部调用default_trans_func或自定义trans_func将输出转成字符串序列再逐条调用add_instadd_inst(cand, ref_list)增量加入一条候选句与参考句列表分别统计各阶 n-gram 匹配数count_ngram与长度count_bpcount_ngram(cand, ref_list, n_size)对指定阶数 n-gram 统计匹配数并累加到self.match_ngram、self.candi_ngramcount_bp(cand, ref_list)累加候选长度bp_c与参考长度bp_r取与候选长度最接近的参考句长度accumulate()/score()汇总所有已加入样本按公式计算最终 BLEU 值float64score()是accumulate()的别名reset()清空全部统计状态便于新一轮评估name()返回指标名称在accumulate()中见 bleu.py若某一阶候选 n-gram 总数为 0或匹配率为 0则用sys.float_info.min兜底避免log(0)报错随后用math.fsum累加w_i * log(p_i)再乘上bp exp(min(1 - r/c, 0))得到最终得分。2.2 内置转换函数default_trans_func当不提供trans_func时BLEU 依赖 paddlenlp/metrics/utils.py 中的default_trans_func完成网络输出到文本的转换其工作流程为将seq_mask扩展为与输出同形状并做掩码屏蔽 padding 位置对每个时间步取argmax得到预测 token id按seq_mask截止到有效长度经vocab[idx]映射为 token 列表得到候选句列表对label做同样映射得到参考句列表每个样本对应一个单元素参考列表。可见此时 BLEU 本质上是基于逐位置 argmax 的贪心解码结果进行观测。原文档明确指出这里的 BLEU 与预测阶段的 BLEU 不同它仅用于训练与评估过程中的观察因此它不能替代推理阶段基于 beam search 的最终 BLEU 评测。三、实战一作为独立评估对象通用用法BLEU最轻量的用法是不依赖任何训练框架直接构造对象、逐条加入样本并取分。原文档给出的最小示例结果已在单元测试 tests/metrics/test_bleu.py 中被验证为0.4671379777282001from paddlenlp.metrics import BLEU bleu BLEU() cand [The, cat, The, cat, on, the, mat] ref_list [ [The, cat, is, on, the, mat], [There, is, a, cat, on, the, mat], ] bleu.add_inst(cand, ref_list) print(bleu.score()) # 0.4671379777282001这一用法同样出现在 PaddleNLP 机器翻译示例的推理脚本 slm/examples/machine_translation/seq2seq/predict.py 中模型用 beam search 完成预测后将每一条预测结果与测试集参考译文逐条add_inst最后打印整体BLEU scorebleu BLEU() for i, data in enumerate(test_loader.dataset.data): ref data[vi].split() bleu.add_inst(cand_list[i], [ref]) print(BLEU score is %s. % bleu.score())注意此处cand_list是已由post_process_seq去除bos_id/eos_id并映射回 token 的单词列表参考句同样以空格切分——这提醒我们BLEU 统计的是 token 序列送入前需保证候选与参考使用一致的切分方式。四、实战二作为paddle.metric.Metric训练指标BLEU 继承自paddle.metric.Metric因此可以直接挂入训练循环随每个 step 自动更新并在日志中输出bleu数值。原文档给出了接入方式对应机器翻译 Seq2Seq 示例from paddlenlp.data import Vocab from paddlenlp.metrics import BLEU bleu_metric BLEU(vocabsrc_vocab.idx_to_token) model.prepare(optimizer, CrossEntropyCriterion(), [ppl_metric, bleu_metric])此时 BLEU 走update(output, label, seq_mask)路径通过default_trans_func将网络输出按 argmax 转为候选文本。原文档还给出了训练日志形态帮助读者理解该指标在训练期的数值含义Epoch 1/12 step 100/507 - loss: 308.7948 - Perplexity: 541.5600 - bleu: 2.2089e-79 - 923ms/step step 200/507 - loss: 264.2914 - Perplexity: 334.5099 - bleu: 0.0093 - 865ms/step step 300/507 - loss: 236.3913 - Perplexity: 213.2553 - bleu: 0.0244 - 849ms/step从日志可清晰看到训练初期 BLEU 接近 0甚至达到2.2e-79这类极小值随着训练进行逐步回升——这正是第 2.1 节所述匹配率为 0 时用sys.float_info.min兜底的实际体现。需要强调的是训练期 BLEU 基于贪心解码数值通常低于推理阶段 beam search 的结果仅用于观察模型收敛趋势不应与最终评测分数直接比较。五、BLEUForDuReader带加分的问答评测变体BLEUForDuReader见 bleu.py是专为 DuReader 阅读理解评测设计的 BLEU 变体在基础 BLEU 之上引入两类加分项针对 YesNo 型问题按alpha加权、针对实体型问题按beta加权从而更贴合问答任务的答案匹配特性。构造参数参数类型默认值说明n_sizeint4n-gram 最高阶数透传给父类alphafloat1.0YesNo 数据集加分权重betafloat1.0实体数据集加分权重核心扩展在add_inst(cand, ref_list, yn_labelNone, yn_refNone, entity_refNone)中先调用父类BLEU.add_inst统计基础匹配再根据参数选择触发add_yn_bonus或add_entity_bonusadd_yn_bonus(cand, ref_list, yn_label, yn_ref)将候选句的每个 n-gram 拼接yn_label标签参考句则逐条拼接各自标签r统计匹配后将匹配数与候选总数同时按alpha放大后累加self.match_ngram alpha * match_size、self.candi_ngram alpha * match_size从而在精确率不变的前提下放大该部分的贡献add_entity_bonus(cand, entity_ref)候选与全部实体参考均统一拼接ENTITY标签做匹配同样按beta放大贡献。这种标签化 n-gram 加权累加的设计实现了对答案类别YesNo/实体的显式建模是该类在 DuReader 竞赛场景中得分的关键机制。若要了解其配对使用的指标可参考 paddlenlp/metrics/README.md 中与RougeLForDuReader并列的说明。六、模块导出与集成方式BLEU与BLEUForDuReader已统一从 paddlenlp/metrics/init.py 导出因此可直接使用from paddlenlp.metrics import BLEU, BLEUForDuReaderPaddleNLP 的 metrics 模块还同时提供 Perplexity、RougeN/RougeL、Distinct、MRR、SpanEvaluator、ChunkEvaluator 等一系列评估指标清单见 paddlenlp/metrics/README.mdBLEU 通常与 Perplexity困惑度搭配用于机器翻译、文本生成类任务与 Rouge 搭配用于摘要与问答任务。七、最佳实践与注意事项综合源码实现与示例代码使用 BLEU 时有几点值得注意输入必须是 token 序列add_inst的cand与ref_list元素均为词列表而非字符串分词方式不一致会显著影响得分训练期指标 ≠ 最终评测训练时走default_trans_func的 argmax 解码适合观察趋势最终评测应基于 beam search 等解码结果独立计算正如机器翻译示例predict.py的做法多参考可提升鲁棒性get_match_size对每个 n-gram 取多条参考中的最大出现次数因此同一候选对应越多参考修正精确率越公允权重长度须与n_size一致自定义weights时务必校验否则构造阶段即抛断言错误合理选择n_size默认 4统计到 4-gram是机器翻译的惯例对于短文本问答或摘要任务可适当降低如n_size2以增强区分度这也是 question_coverage.py 等问答工具中按需传入n_size的原因。八、验证单元测试与源码可追溯性本模块的正确性由单元测试 tests/metrics/test_bleu.py 直接保障测试构造与文档示例完全相同的候选/参考句对断言score()精确等于0.4671379777282001同时验证了reset()后重新统计的幂等性。读者若想深入追踪实现可按以下路径阅读源码指标实现paddlenlp/metrics/bleu.py默认转换函数paddlenlp/metrics/utils.py模块导出paddlenlp/metrics/init.py单元测试tests/metrics/test_bleu.py机器翻译评测示例slm/examples/machine_translation/seq2seq/predict.py通过本文的讲解你已掌握 BLEU 的原理、BLEU/BLEUForDuReader的完整 API、两种接入方式与源码级验证路径可直接在自己的翻译、摘要、问答项目中落地评估。赞分享人工智能大模型预训练微调LoRARLHF强化学习分布式训练【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址https://gitcode.com/gh_mirrors/pa/PaddleNLP点击查看免费下载相关推荐如何评估文本生成质量BLEU与ROUGE指标完整指南如何评估文本生成质量BLEU与ROUGE指标完整指南 在自然语言处理领域文本生成模型的质量评估是一项关键任务。无论是机器翻译、对话系统还是文本摘要都需要客人工智能深度学习机器学习强化学习昇腾C同步函数asc_sync_mte3文档asc_sync_mte3 产品支持情况 | 产品 | 是否支持 | | : | : : | | cann filter npu_type950 Asc人工智能深度学习算子库CANNAscend只输一句话3分钟出片Pixelle-Video AI短视频生成工具上手实录只输一句话3分钟出片Pixelle Video AI短视频生成工具上手实录 Pixelle Video 是一款 AI 短视频生成工具你只丢给它一个主题它人工智能AI 应用音视频媒体生成创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考