简介命名实体识别是自然语言处理中的基础任务旨在从非结构化文本中抽取具有特定意义的实体。在医疗场景下医学影像报告中的异常发现往往以描述性文本呈现实体边界模糊且表达方式多样给传统NER方法带来了更大挑战。针对这一难题基于预训练模型微调的方法已成为主流范式配合高效的解码器与训练策略能够显著提升实体识别的准确率。从技术原理上看预训练模型负责捕捉上下文语义而GlobalPointer等解码结构则将实体识别转化为区间打分问题有效处理了长实体和边界不定的情况。该技术路线不仅适用于竞赛场景更对医疗文本挖掘、临床辅助诊断等实际应用具有重要参考价值。本文以天池医学影像报告异常检测赛题为背景详细拆解了一套融合预训练模型、对抗训练、多折集成与后处理的完整方案为中文医疗NLP落地提供了可复用的工程实践思路。 在医学影像报告异常检测这个赛道上拿到天池2021“全球人工智能技术创新大赛”第三名整个过程有不少值得记录的东西。这篇文章不打算讲虚的直接把我们的方案完整拆开从赛题理解、数据预处理、模型选型、训练细节到集成后处理连踩过的坑也会一并写出来。如果你正准备打类似的文本挖掘类比赛或者正在做中文医疗NLP相关的落地项目这篇复盘应该能给你一些可以抄作业的思路。先交代一下背景。这个赛道要求选手对医学影像报告做异常检测本质上是给定一段放射科医生写的描述文本模型要从中找出异常发现的实体。看起来像是一个标准的命名实体识别NER任务但真正上手之后会发现医疗文本的表达习惯、实体的边界定义、以及评估指标的严格程度都跟通用领域的NER有明显区别。最终我们能够拿到第三名靠的并不是单点模型的惊艳效果而是一整套组合方案预训练模型微调、对抗训练、多折交叉验证、伪标签清洗、加上一套稳扎稳打的后处理策略。1. 赛题理解与整体方案设计1.1 任务定义与数据形态分析医学影像报告的异常检测通俗点说就是让模型学会“读报告”。放射科医生在CT、MRI、X光等检查之后写的报告通常包括“检查所见”和“诊断意见”两部分。检查所见一般是客观描述比如“右肺上叶见磨玻璃样密度影边缘模糊”诊断意见则是医生的综合判断。这个赛题的目标就是从这些描述文本中准确识别出异常相关的实体也就是把“磨玻璃样密度影”这类带有病灶性质的表述抽出来。官方给的数据集是标注好的报告文本实体会标出起止位置。这里有一个非常关键的行业背景医学影像报告的表达相对模板化但不同医院的报告风格差异很大。有的医生习惯写“右肺上叶可见结节状高密度影大小约1.2cm×0.8cm边界清晰”有的医生则写得非常简洁只写“右肺上叶结节”。这种表达差异会给模型带来不小的挑战模型不仅要知道什么样的描述算异常还要准确判断实体的边界。我们拿到数据后先做了统计。整个数据集的报告文本长度分布比较广短的只有十几个字长的能到几百字大部分集中在50到200字之间。实体长度也很有特点短实体可能只有两三个字比如“结节”长实体可能包含多个修饰词比如“左肺下叶胸膜下小结节影”。这种长短差异极大的实体分布直接影响了我们对解码方案的选择这一点后面会详细展开。1.2 评估指标决定了优化方向这个赛题的评估指标是实体级别的F1值。注意是实体级别不是token级别。也就是说模型预测出的一个实体必须和真实实体在起止位置上完全一致才算预测正确。只要边界错了一个字比如预测的是“磨玻璃样密度影”但标准答案是“磨玻璃样密度影边缘模糊”那么这条预测就被判为错误。这个指标定义对方案设计的影响非常大。token级别的F1只要大部分token预测对了得分就还不错但实体级别的F1要求模型的边界预测能力非常强。我们从一开始就把优化目标锁定在“实体边界精度”上而不是单纯提高token的分类准确率。很多队伍在初赛阶段token级别F1刷得很高但到了实体级别一算分成绩就掉下去了根因就在这里。另外医疗场景下的异常实体天然存在类别不平衡的问题。有些异常类型出现频率很高比如结节、磨玻璃影有些则相对少比如钙化、纤维灶、胸腔积液。如果直接拿原始分布训练模型会对高频实体过拟合低频实体的召回率会非常差。我们后面在损失函数和采样策略上都做了针对性的处理。1.3 方案选型为什么选择“预训练模型序列标注”赛题明确之后摆在我们面前的就是技术选型。当时有两条比较主流的技术路线一是基于BERT类预训练模型做token级别的序列标注输出BIO标签二是基于span预测的方式直接预测实体的起始位置和结束位置。我们最终采用的是以预训练模型为backbone、加上GlobalPointer解码器的方案。GlobalPointer是苏剑林提出的一种NER解码方式它的核心思路是把实体识别看作一个“判断某个区间(i, j)是否为实体”的矩阵预测问题。这个方案相比传统的BIO标注有非常大的优势它不需要考虑标签之间的路径依赖推理时只需要对每个候选区间打分然后按阈值筛选即可。为什么这个方案特别适合医学影像报告因为医疗实体经常会包含比较长的修饰成分而且实体之间几乎不存在嵌套关系。GlobalPointer天然适合处理这种“扁平实体”场景。我们做了一组对比实验在同样的预训练模型基础上GlobalPointer相比BERTCRF的F1值大概能提升0.5到1个百分点。在实体级F1的赛制下这个提升已经足以影响最终排名。2. 数据预处理与特征工程2.1 文本清洗的细节和坑点拿到原始数据后文本清洗是第一件要做的事也是看似简单但实际很影响效果的一环。医学影像报告虽然比一般的社交媒体文本规范但依然存在不少噪音。我们清洗时处理了几个比较典型的问题。第一是空格和换行符。很多报告是直接从PACS系统导出的文本中会夹杂着多余的空格、全角空格、换行符甚至制表符。这些字符不会影响人类的阅读但会严重干扰tokenizer的分词结果。我们的处理原则是除了中文标点符号和数字中的小数点其他所有非中文字符统一归一化处理。第二是英文和数字。报告中经常出现“T1WI”“T2WI”“CT平扫”这类英文缩写还有病灶大小如“1.2cm×0.8cm”。英文缩写直接用原生形式保留数字和单位之间如果有空格则去掉避免把“1.2 cm”拆成两个token。这个细节看起来不起眼但确实会影响模型对实体边界的判断。第三个坑是标注数据和清洗后的文本要对齐。我们一开始直接在原始文本上做清洗然后简单地重新标注结果发现清洗前后的字符偏移导致大量实体的起止位置错位。后来改成先清洗文本再在清洗后的文本上重新做一次标注对齐。这一步浪费了我们不少调试时间但也算是一个值得写出来的经验凡是涉及到文本预处理的NLP任务标注对齐问题一定要在第一时间处理掉。2.2 标签体系设计与BIO到span的转换数据清洗完成后我们面对的是标签体系的处理。官方数据给的是BIO标注格式B表示实体起始tokenI表示实体内部tokenO表示非实体。但GlobalPointer的训练目标需要的是实体的起始和结束索引所以需要做一次格式转换。这个转换本身并不复杂核心逻辑是遍历BIO序列遇到B开一个新的span遇到I延续当前span遇到O关闭当前span。真正需要小心的是连续出现的两个同类型实体比如“右肺上叶结节左肺下叶结节”中间如果没有O隔开很容易被合并成一个实体。所以我们在转换时有一个人工校验的环节检查转换后的span数量和原始标注的实体数量是否一致。另外一个细节是标签类型的处理。这个赛题虽然核心任务就是找出异常实体但我印象中官方数据里并没有把异常实体细分成多个细粒度类别而是统一作为一个类别处理。我们训练时直接做二分类的span判断也就是“是异常实体”或“不是异常实体”。简化标签体系的好处是模型的学习压力更小坏处是后处理时无法通过类别信息做交叉校验。考虑到赛题得分指标只关心实体是否找到不关心实体类型这个简化是合理的。2.3 文本截断策略与长文本处理模型输入长度的限制是所有NLP比赛都必须面对的问题。我们用的预训练模型最大输入长度是512但真实的报告文本长度差异很大。如果简单地把超过长度的部分截断那长报告尾部信息就全丢了。我们的做法是分段截断和滑动窗口结合。具体来说对于长度在512以内的报告直接整段输入。对于超过512的报告我们从句子边界切分分成多个片段每个片段分别预测最后把结果合并回原始文本。切分时需要注意保留一定的重叠区域因为一个实体可能恰好横跨两个片段边界重叠区域可以避免实体被拦腰截断。但实际上统计下来超过512的报告比例并不高绝大多少报告都能在单个片段内完整处理。所以我们没有做特别复杂的长文本建模用了一个比较务实的策略先按句子列表分块每块控制在450到500个token以内块与块之间保留一个句子的重叠。最终测试下来因为长文本导致的信息丢失对整体F1的影响大概只有0.1到0.2个百分点属于可以接受的范围内。2.4 数据增强伪标签的正确打开方式伪标签是这次比赛帮我们提升成绩的重要一环。简单来说就是先用当前训练好的模型对测试集做预测把预测结果置信度较高的样本加入训练集再用扩充后的数据重新训练。但伪标签的使用有很多讲究。我们第一次尝试伪标签时直接把模型预测的全部实体都当成标准答案回灌训练集结果F1反而下降了。问题出在置信度阈值上有相当一部分预测结果的置信度并不高把这些“脏标签”喂回去相当于给训练数据引入了噪声。后来我们调整了策略只保留置信度非常高的预测结果具体操作是按实体级别的概率打分筛选出得分在0.95以上的实体并且要求同一个文本中至少有两个高置信度实体才把这条文本的预测结果加入到伪标签池。这样虽然扩增量变小但新增样本的质量明显更高。最终伪标签帮助我们提升了约0.3到0.5个百分点的F1值。3. 模型训练与核心环节实现3.1 预训练模型选型对比预训练模型的选择是决定效果上限的关键一环。当时中文领域的预训练模型已经比较丰富了我们主要对比了BERT-base、RoBERTa-wwm-ext、MacBERT-base和NEZHA-base四个模型。从实验结果看MacBERT-base的效果是最好的。这并不意外MacBERT使用了全词掩码和纠错式掩码对中文文本的建模能力更强。NEZHA由于使用了相对位置编码在长文本上的表现也还不错但综合表现略逊于MacBERT。RoBERTa-wwm-ext作为老牌中文预训练模型效果中规中矩是很好的baseline。我们还尝试了更大规模的模型比如MacBERT-large但训练时间和显存开销都明显增大而F1的提升只有0.2个百分点左右。考虑到比赛的时间和算力限制我们最终没有在large模型上做完整的五折训练只用来做了单折的实验对比。这里有一个经验在算力有限的情况下不要盲目追求大模型。用一个精调的base模型搭配优秀的解码器和训练技巧往往比直接上large模型更划算。large模型对batch size更敏感如果因为显存限制被迫减小batch size训练的不稳定性反而会拉低最终效果。3.2 GlobalPointer解码器实现细节GlobalPointer作为我们的核心解码模块值得单独拿出来说说。它的数学表达很简单对于一个长度为n的序列经过BERT编码后得到每个token的隐层向量然后用两个独立的线性层分别得到每个token作为起始位置和结束位置的打分两者组合成一个n×n的矩阵矩阵中第i行第j列的值表示输入序列中从i到j这个区间的实体打分。但实现中有几个小细节会影响效果。第一是相对位置编码的处理。GlobalPointer的一个特点是实体区间长度的分布极不均匀模型需要能够区分“两个字长度的实体”和“十个字长度的实体”。我们引入了苏剑林在原始论文中提到的旋转式位置编码RoPE来增强相对位置信息实验证明这能有效提升长实体的召回率。第二是损失函数。GlobalPointer训练时用的是多标签交叉熵因为每个位置对(i,j)都要做一个二分类判断。考虑到正负样本极度不平衡我们对正样本的损失做了加权。具体实现时通过调整二分类交叉熵中的正样本权重参数来解决我们实验下来权重设为2时效果最佳。第三是预测时的阈值筛选。模型输出的矩阵中每个位置都有一个概率值判断是否为实体需要设定一个概率阈值。阈值的选取对F1影响很大阈值太高漏检多召回率低阈值太低误检多精确率低。我们最终在验证集上做了阈值扫描选出F1最高的阈值作为最终参数。3.3 对抗训练FGM的工程实践对抗训练是比赛中提分非常有效的正则化手段。我们的方案中使用了FGMFast Gradient Method它的核心思想是在训练过程中对token的embedding添加一个小的扰动让模型在扰动后的样本上依然能做出正确的预测从而提升模型的鲁棒性。FGM的工程实现其实非常简单。训练时先正常计算一次loss并反向传播得到每个参数对应的梯度然后在embedding层的梯度方向上乘以一个系数epsilon把扰动加到embedding上接下来用加了扰动的embedding再算一次loss和梯度更新模型参数最后把embedding恢复到原始状态。整个过程中最关键的超参数是扰动系数epsilon我们经过对比实验最终设定epsilon0.5。从效果上看加入FGM之后模型在验证集上的F1大概提升了0.3到0.5个百分点。尤其是在实体边界预测的稳定性上FGM的受益非常明显。不过需要注意FGM会让训练时间大约增加20%到30%因为在每个step内做了两次前向传播和反向传播。如果训练资源紧张可以只在训练的后半段开启FGM也能获得大部分收益。3.4 五折交叉验证与模型集成交叉验证几乎是这类比赛必用的招式。我们把训练集分成五份每次用四份训练、一份验证最终得到五个模型。推理时五个模型分别对测试集进行预测然后对预测概率取平均。为什么一定要做多折而不是简单的单模型主要原因是单模型在验证集上的表现波动较大可能存在偶然性。五折的平均结果更稳定而且能提供对模型泛化能力的更准确估计。我们在比赛中的最终成绩基本上和五折验证集上的平均F1保持一致。除了同构模型的五折集成我们还尝试了不同预训练模型之间的融合。比如把MacBERT-base和NEZHA-base这两个异构模型的预测结果做概率平均融合后的效果又比单一MacBERT的五折平均提升了约0.3个百分点。异构模型因为预训练方式不同预测的错误分布相关性较低融合的收益更明显。3.5 训练超参数与运行细节记录这里把我们最终使用的训练超参数完整列出来方便大家直接参考。预训练模型部分是MacBERT-base优化器使用AdamW学习率设定为2e-5分类头部分的学习率设为1e-4。batch size为32训练轮数为5轮。warmup比例设为0.1权重衰减系数为0.01。最大序列长度设为512超过部分按前面提到的分块策略处理。每个epoch训练结束后我们在验证集上计算实体级别F1保存验证集F1最高的模型作为该折的最终模型。五折全部训练完总共耗时约15个小时使用的是单张V100 GPU。这个训练成本在比赛中算是比较可控的。另外还有一个细节显存优化。使用GlobalPointer结构时BERT输出后会在内存中构建n×n的矩阵当序列长度为512时这个矩阵的大小是512×512占用内存不小。如果显存不够可以按batch内的实际长度动态计算而不是统一按最大长度分配。我们使用了动态padding策略也就是同一个batch内的样本padding到当前batch的最大长度而不是统一补齐到512这能显著降低显存占用。4. 后处理与推理优化4.1 阈值扫描与得分校准后处理的第一步是对预测阈值进行精细调节。我们会把五个模型的预测概率取平均后在验证集上做一次完整的阈值扫描步长设为0.01找到F1最高的那个阈值作为测试集的预测阈值。这个操作看起来简单但提升是实打实的。因为不同模型输出的概率分布尺度并不完全一致直接使用默认阈值0.5往往不是最优选择。我们在验证集上扫描出来的最优阈值通常在0.45到0.55之间比默认值能高出0.1到0.2个百分点的F1。另外我们还做了一个针对性的校准对预测概率特别接近阈值的实体也就是概率落在阈值附近±0.05范围内的样本做一个额外的规则校验。比如检查该实体是否满足医学报告的常见表达模式如果不满足则降权。这个规则虽然简单但在边界样本上能挽回一部分误检。4.2 实体合并与重叠处理post-processing中最容易出现问题的场景是重叠和相邻实体。比如报告中写“双肺多发结节”这里的“双肺多发结节”可能被模型预测为两个实体“双肺”和“多发结节”也可能被预测成一个实体“双肺多发结节”。到底哪个正确要看标注规范。我们在赛后复盘时发现有一部分F1损失来自于模型预测的实体与标准答案之间存在包含关系。比如标准答案是“右肺上叶磨玻璃影”模型预测的是“磨玻璃影”。从语义上看模型抓到了核心病灶但因为漏掉了限定词整个预测被判定为错误。针对这类问题我们设计了一个补充规则如果模型预测的某个实体被包含在另一个更长的高置信度预测实体中则自动合并为更长的实体。这个规则并不总是正确的但在医学报告场景下包含更多解剖位置限定词的实体通常更符合标注规范。通过加入这个合并规则我们在验证集上又提升了0.1到0.2个百分点的F1。4.3 推理过程中的性能优化比赛后期我们开始关注推理效率。GlobalPointer在推理时需要遍历所有可能的起止位置对也就是要处理一个n×n的矩阵这个计算量是O(n²)的。当序列长度为512时意味着有超过26万个候选位置对需要打分。虽然大部分候选位置的打分很低但全量计算仍然比较耗时。为了加速推理我们做了一个简单的剪枝实体长度不可能超过某个上限医学报告中的异常实体极少超过30个字。所以推理时只计算长度在1到30之间候选区间这样直接把计算量降到了不到原来的十分之一。全量测试集的推理时间从十几分钟缩短到了两分钟以内。4.4 各种后处理技巧组合后的最终收益把阈值扫描、实体合并、长度剪枝这些后处理技巧全部叠加之后我们在验证集上的实体级F1相比未做后处理的原始预测提升了大约0.8到1.2个百分点。这个提升幅度在名次接近的榜单上非常关键。需要强调的是后处理不是万能的它无法弥补模型本身的能力上限。但如果模型的预测已经比较准确只是存在系统性偏差比如边界偏向局部、高置信度误检等后处理就能起到四两拨千斤的作用。这也是我们团队在整个比赛过程中始终坚持“模型为主、后处理为辅”的原因。5. 常见问题与避坑经验5.1 实体边界预测不准整个比赛过程中实体边界错误是我们在验证集上分析最多的错误类型。模型经常能判断出哪个位置附近有异常但就是无法准确框出实体的范围。比较典型的场景是报告里写“左肺上叶舌段可见条片状高密度影”模型预测出“条片状高密度影”但标准答案还包含前面的“左肺上叶舌段”这个位置限定词。针对边界问题我们尝试过几种解法。一是提升模型对长实体的识别能力我们通过RoPE位置编码来强化位置信息二是在训练集上增加了对实体长度的分布约束让模型更容易学习到不同长度实体的边界模式三是后处理中加入了上面提到的实体合并规则。这三管齐下边界错误明显减少。这里想多说一句实体边界问题在哪一类NER任务里都比较难解但医疗报告算是相对友好的场景因为医生写报告的句式普遍规范实体的起止往往和标点符号、连接词强相关。我们可以利用这个特点把标点符号作为后处理的一个重要参考维度。5.2 长文本尾部信息丢失虽然我们采用了分块策略但长文本的尾部信息在某些场景下还是会丢失。尤其是当一句话被截断时这句话后半部分的实体就完全消失了。我们分析过一次典型的失败案例一份报告前面全是正常描述异常发现写在了报告的最后一段而这段恰好被截掉了模型自然无法识别出任何异常。针对这个问题我们采用了一个简单但有效的办法如果报告的前半部分识别出的实体很少而当前文本已经被截断那么在推理时额外用滑动窗口生成一个包括尾部内容的第二片段把两个片段的预测结果合并。虽然这会增加一些推理时间但对长文本异常报告的召回率提升非常明显。5.3 伪标签引入噪声导致效果下降前面提到过伪标签如果使用不当会适得其反。我们第一次尝试伪标签时把模型预测的所有实体都直接加入训练集结果F1不仅没有提升反而下降了约0.3个百分点。赛后分析发现问题主要出在置信度较低的预测上这些预测中包含不少边界错误和无关实体的误检。后期我们使用高置信度过滤策略之后伪标签才真正发挥了正向作用。这里也给大家一个可复用的判断标准伪标签的置信度阈值应该根据验证集上的预测score分布来定而不是拍脑袋定。具体操作是统计验证集上所有预测实体的分数分布选择能让验证集F1最大化的分数作为阈值。5.4 多折模型不一致导致的推理偏差五折训练时偶尔会出现某一折的模型效果明显差于其他几折的情况导致平均预测结果被拉低。我们排查后发现这通常是因为某一折的训练数据分布恰好比较特殊比如包含了一些标注风格与众不同的医院报告。处理办法是在五折训练完成后对比每一折在各自验证集上的F1如果某一折明显低于平均值可以直接去掉这一折用剩余四折做集成。我们实际测试下来剔除差折之后的效果比强制五折平均要更好。当然这种操作需要在验证集上做充分验证确认剔除不是偶然现象。5.5 训练时间紧张时的优先级排序比赛最后几天我们面临时间紧张的情况需要决定把有限的算力花在什么地方。根据经验优先级排序大致是多折微调大于异构模型融合大于伪标签大于大模型。也就是说先把同一个模型的多折训练跑完再做异构融合最后有多余时间才考虑用large模型或者更大规模的伪标签扩充。这个优先级不是绝对的但逻辑很清晰多折和融合提升的是稳定性和泛化能力是所有方案里性价比最高的伪标签需要比较谨慎的过滤策略如果没有充分验证时间宁可不做大模型在赛题数据量不算特别大的情况下收益有限。6. 医学影像报告异常检测的落地思考6.1 竞赛方案到真实医疗场景的差距比赛结束之后我们也认真思考过这个方案在真实医疗场景中的可行性。坦白说比赛中的F1成绩好看并不代表可以直接部署到医院的辅助诊断系统里。真实场景中报告文本的来源更复杂不同影像设备的描述风格差异更大标注标准的统一难度也更高。但比赛方案的核心思路是有参考价值的。预训练模型加GlobalPointer加对抗训练的这套组合在真实场景中依然是一个很强的基线。如果要在真实系统中落地还需要额外处理一些比赛场景不会遇到的问题比如新词识别、科室差异适配、模型的可解释性、以及人类医生的审核闭环。6.2 中文医疗NLP的下一步方向从这次比赛的体验来看中文医疗NLP领域还远未达到成熟状态。公共的医疗预训练模型还比较稀缺标注数据难以共享模型的跨机构和跨地区泛化能力需要更多验证。但反过来看这意味着这个领域有巨大的价值空间。如果后续想在这个方向继续深入我觉得有两条路径值得探索。一是针对医疗领域构建专门的预训练模型在大量无标注医疗报告上做领域自适应预训练这通常能显著提升下游NER效果。二是在模型结构中引入更多医学知识比如利用解剖学知识约束实体的边界和层级关系这可能会成为突破现有F1瓶颈的关键方向。最终这个比赛的第三名让我最大的体会就是在不算宽裕的时间和算力条件下把一套成熟的单模型方案做深做透加入稳定的小幅提分技巧和精细的后处理效果远比追逐花哨的新模型好。如果这篇复盘的某个细节能帮你在自己的赛题或项目上少踩一个坑那就很值了。本文还有配套的精品资源点击获取