简介面向医疗数据分析与NLP应用开发者一套基于MIMIC公开数据集的ICU患者死亡率预测项目资料利用Python对护理笔记进行情感分析构建从数据提取到模型评估的完整预测流程。包内共5个文件整体仅9KBPython脚本负责情感特征提取与分类SQL脚本完成患者数据筛选两个Rmd文档分别针对30天和总体生存率做统计建模另有说明文件梳理运行流程目录结构紧凑清晰。已有362人学习适合初步接触临床文本挖掘的Python用户也可作为医疗AI课题的入门参考。其中完整演示了护理笔记去除停用词、词干提取、词袋模型/TF-IDF向量化以及SVM、随机森林等分类器的训练与调参思路并给出AUC-ROC、精确率、召回率等评估方式读者可按说明复现研究路线替换特征或模型后迁移至其他临床预测任务。 我还是第一次拿到这种用护理文本情感分析来预测ICU死亡率的题目初看觉得有点“歪门邪道”仔细做完之后不得不承认护理笔记里那些看起来主观、零散的措辞确实藏着不少结构化指标捕捉不到的信息。这个项目把MIMIC数据库中的护理记录文本拿来跑情感分析再把情感特征喂给死亡率预测模型整个过程既有NLP的坑也有临床数据处理的坑做完一轮收获非常大很适合正在找医疗文本挖掘练手项目的人参考。先说清楚这个项目解决什么问题ICU死亡率预测本身不新鲜经典做法是APACHE、SOFA这些评分或者用生命体征和化验指标做机器学习。但这类结构化数据有局限——医生护士在床边观察到的很多细节比如“患者看起来痛苦”、“今日精神状态明显变差”、“家属情绪焦虑”这些内容只存在于护理记录里而且往往带有明显的情感色彩。本项目的核心思路就是把护理笔记的“情绪”量化成特征看看能不能进一步提升ICU患者死亡风险的预测性能。下面我按自己实操的流程把从数据到模型的每个环节拆开讲。1. 项目整体设计与思路拆解1.1 为什么选护理笔记而不是医生病程MIMIC里其实有医生病历、护理笔记、影像报告、出院小结等多类文本我之所以锁定护理笔记是因为它有几个天然优势第一护理记录频率高ICU里护士通常是每1到4小时记录一次能形成连续的时间序列而医生病程一般一天一次甚至几天一次第二护理笔记语言相对口语化更贴近患者状态的自然描述比如“restless”、“moaning”、“calm and cooperative”这类词情感倾向比较明显第三护理笔记记录的是观察而非诊断结论受诊疗方案干扰较小更适合用来捕捉状态变化。医生的病程记录里大量使用“无明显异常”、“继续观察”这类标准化套话情感信息少得可怜。护理笔记则不同护士会直接写下“patient in distress”、“extremely anxious”、“not responding well”这类主观但真实的判断。用这些文本做情绪分析等于引入了一种“人对患者状态感知”的软信号这是结构化指标缺少的维度。1.2 情感分析工具选型从VADER到临床规则情感分析工具方面我第一反应是先试无监督的VADER和TextBlob避免一开始就上BERT模型带来的标注成本。VADER的好处是计算快、不需要训练数据、对短文本的社交语气识别效果还行而且自带复合情感分数compound score可以直接用来做回归特征。但是VADER是面向社交媒体文本训练的对临床语境存在明显误判比如“negative”在检验报告里是“阴性”而非“负面”VADER会给它打负分这就会严重干扰特征质量。我在实际操作中采取了两层方案第一层保留VADER原始分数作为基线特征第二层针对护理笔记做了一批简单的临床否定词和领域词调整比如把“negative”、“denies”这类词在医疗语境下重标定为中性或正面。这里偷懒用了一个笨办法——直接维护一个临床情感覆盖词典用规则覆盖VADER的输出。实测发现第二层调整虽然粗糙但对模型AUC的提升比换个高级模型还明显。1.3 预测任务定义与标签构建死亡率预测的标签定义没有想象中简单MIMIC里自带出院信息和院内死亡标记可以直接用hospital_expire_flag作为标签。但需要注意护理笔记的时间跨度是整个住院期间如果仍用整个住院期间所有笔记的情感特征去预测“最终是否死亡”其实存在明显的先验泄漏——最后几天可能已经出现濒死状态的记录。这个问题我在后文会详细讲可行的处理方式是把样本窗口切到入院后第一个24小时内用这段时间的笔记内容来预测最终住院死亡率这样才更接近真实临床场景中“早期预警”的目标。这个项目最终的目标变量是一个二分类值0表示存活出院1表示院内死亡。数据集大小上MIMIC-III的NOTEEVENTS表大概有200多万条护理记录对应几万名患者足够做大规模训练和验证。2. 核心细节解析与实操要点2.1 数据准入与MIMIC版本差异说一个新手最容易卡住的地方MIMIC数据不是注册就能下载的。你需要在PhysioNet上完成CITI培训课程并提交证书审核通过后才能下载数据库压缩包。整个流程可能要等一两天提前规划好。版本选择上MIMIC-III和MIMIC-IV的NOTEEVENTS表结构略有不同。MIMIC-III的NOTEEVENTS表包含SUBJECT_ID、HADM_ID、CHARTTIME、CATEGORY、TEXT等字段MIMIC-IV把文本数据拆到了mimic_iv_note库的discharge和radiology表中护理笔记则需要在icu库中找caregiver相关的记录。我这次实际用的是MIMIC-III因为相关的预处理脚本更多社区踩坑记录也全。如果你想用MIMIC-IV务必先确认CATEGORY Nursing/other对应的表名是否跟官网说明一致。2.2 文本清洗比想象中麻烦的临床文本临床文本清洗跟普通电商评论清洗完全是两码事。护理笔记里大量存在换行符、制表符、带括号的模板类内容比如[Patient Report]、[Assessment]这类标记。我的清洗规则按优先级做去除HTML标签和URL笔记里偶尔有粘贴的内容统一大小写处理特殊符号但保留数字和百分号如“BP 90/60”、“O2 sat 88%”去除停用词时特意保留“not”、“no”这类否定词否则“not stable”会被变成“stable”语义完全反掉。还有一个容易忽略的点是格式编码。原始CSV用read_csv读取时会遇到编码问题建议统一用encodingutf-8如果报错就用errorsignore。另外MIMIC官方提供的TEXT字段中偶尔包含换行符“\r\n”如果直接按行拆分会造成笔记截断保险做法是先整体读入再单独处理。2.3 时间窗口和样本划分的坑前面提到时间泄漏问题这里给出一个实际操作的细节我最终把护理笔记限制在患者入住ICU后的前24小时内。理由很简单——死亡预测做的是“早期评估”如果模型能获得病人在最后几小时的笔记那当然很容易判断但根本没有提前量临床落地价值为零。所以正确做法是只取CHARTTIME到INTIME时间差小于24小时的记录。但这里还有另一个坑很多患者的护理笔记可能不足24小时比如入院后10小时就转出或死亡。如果你强行过滤掉这类样本就引入了选择偏倚。我的处理方式是保留至少有1条护理笔记的患者再额外记录该患者在窗口内的笔记条数作为特征让模型自己学习“笔记稀少”本身可能代表的信息。3. 实操过程与核心环节实现3.1 读取护理笔记并计算情感分数我用的是VADER 规则覆盖组合代码不算复杂但需要注意分块读取因为NOTEEVENTS的TEXT字段非常大一次性读入内存很容易把机器搞垮。分块处理的思路是先计算好每个HADM_ID的情感分数再丢弃原始文本。import pandas as pd import numpy as np from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer analyzer SentimentIntensityAnalyzer() # 读取护理笔记分块处理 chunk_size 50000 sentiment_records [] for chunk in pd.read_csv(NOTEEVENTS.csv, chunksizechunk_size, dtype{TEXT: str}, encodingutf-8): nursing chunk[chunk[CATEGORY] Nursing/other].copy() nursing[TEXT] nursing[TEXT].fillna() # 基础清洗这里省略具体函数按前面提到的规则执行 nursing[clean_text] nursing[TEXT].map(clean_note) for _, row in nursing.iterrows(): if pd.isna(row[CHARTTIME]) or pd.isna(row[HADM_ID]): continue vs analyzer.polarity_scores(row[clean_text]) sentiment_records.append({ hadm_id: row[HADM_ID], charttime: row[CHARTTIME], compound: vs[compound], neg: vs[neg], neu: vs[neu], pos: vs[pos] }) sentiment_df pd.DataFrame(sentiment_records)这里特别提醒一下iterrows()在数据量大的时候慢到怀疑人生我实测100万行记录大概要跑一个多小时。更好的办法是直接用.apply()批量处理能快三到五倍。既然这个项目只是教学性质我图省事用了迭代写法但如果你想认真跑实验建议改成向量化代码。3.2 聚合特征不止是平均分得到每条笔记的情感分后怎么聚合到患者级别才是真正的特征工程环节。我一开始只用了compound分数的平均值和标准差结果模型AUC提升很小只有0.01左右。后来加了三个特征性能才明显改善最后情感分与首次情感分的差值表示护理笔记情感趋势的变化方向负向情感笔记占比即compound小于-0.05的笔记占全部笔记的比例笔记条数本身这个特征出人意料地有效可能因为病情恶化会导致护士记录频率增加。特征表我在后面模型环节会详细列出。聚合代码大致如下agg_dict { compound: [mean, std, lambda x: x.iloc[-1] - x.iloc[0]], neg: [mean], pos: [mean] } patient_sentiment sentiment_df.groupby(hadm_id).agg(agg_dict).reset_index() patient_sentiment.columns [hadm_id, senti_compound_mean, senti_compound_std, senti_compound_delta, senti_neg_mean, senti_pos_mean]还要注意hadm_id的关联。MIMIC中同一患者多次入院对应不同的HADM_ID但每次入院的死亡标签都不一样所以本项目必须用HADM_ID作为唯一键千万不能错用SUBJECT_ID。3.3 合并结构化特征并建模情感特征不能单独撑起一个模型它更适合当作补充特征。我是从ADMISSIONS表和ICUSTAYS表提取基础信息包括年龄、性别、入ICU时生命体征、首次实验室检查结果等等。这里只展示关键部分的合并逻辑# patient_sentiment 已生成 cohort admissions[[hadm_id, hospital_expire_flag]].merge( patient_sentiment, onhadm_id, howinner ) # 再加上结构化临床特征 cohort cohort.merge(icu_vitals, onhadm_id, howleft) cohort cohort.merge(labs, onhadm_id, howleft)建模时我用逻辑回归、随机森林和XGBoost分别跑了一遍。基准模型只用结构化特征对比模型在基准特征上加入情感特征。这里有一个重要操作数据划分按时间切分比如用前70%住院患者做训练集后30%做测试集避免随机划分带来的时间分布泄漏。XGBoost调参我用的是五折交叉验证重点关注max_depth、eta、subsample这三个参数。实际跑下来的AUC结果大概是仅结构化特征时AUC在0.82左右加入情感特征后提升到0.85左右。虽然绝对值提升不算夸张但在医学预测场景里AUC提升0.03已经有临床参考价值了。3.4 模型评估不能只看AUC看AUC之外我还画了校准曲线发现加入情感特征后模型的校准度略有下降——模型会更自信地给某些患者打高死亡概率但实际没有发生死亡。这可能是因为护理笔记里的情感表达存在护士主观差异A护士习惯用积极语气B护士习惯用消极语气笔记情感分数就会混入“护士性格”的噪声。处理这种噪声的办法有两种一是按护士ID做情感分数的标准化但MIMIC没有公开护士的唯一标识只有CGID这个字段在不同患者间不连通二是按医院入院时间做分组归一化但这会丢失绝对语义信息。考虑到实际效果我没有强行消除这种噪声而是在特征中加入笔记条数作为置信度权重让模型自己削弱人工噪声的影响。4. 常见问题与排查技巧实录4.1 内存爆炸和运行缓慢MIMIC的NOTEEVENTS表解开后有接近3个G直接用pd.read_csv一次性读入16G内存的机器直接卡死。解决方案就是前面提到的分块读取但还有更高效的思路先只读取需要的列HADM_ID、CHARTTIME、CATEGORY、TEXT用usecols参数可以减少大量内存占用。计算情感分数时另外一个技巧是利用多进程池并行处理。concurrent.futures.ProcessPoolExecutor可以把清洗和情感分析过程拆到多个核上跑。我在8核机器上实测并行处理后速度能提升4倍左右。注意Windows环境下必须把并行代码放到if __name__ __main__:里保护否则会报RuntimeError。4.2 感情分被临床词汇误导前面提到的“negative”这个词我在护理笔记做词频统计时发现它出现的频率相当高。随便打开一条笔记就能看到“negative for chest pain”、“urine culture negative”这类记录。VADER会把这些句子的整体情感分打低但实际上护士在记录的是“阴性结果”这个相对正面的信息。我的规则覆盖方案是先把文本中的所有“negative”替换为“neg_value”然后在情感分析完成后再根据上下文微调分数。更简单的做法是直接用临床情感词典替换VADER但工程量大不少。考虑到时间和算力我维持了“VADER 规则补丁”的方案模型效果已经满足需求。4.3 时间排序错误导致趋势特征异常计算“最后情感分与首次情感分的差值”时一定要先按CHARTTIME排序再取首末值。这个坑我踩过因为groupby不保证顺序直接取iloc[0]和iloc[-1]拿到的根本就是原始表里的顺序完全不是时间顺序。正确做法是sentiment_df sentiment_df.sort_values([hadm_id, charttime])再一个排序相关的细节是CHARTTIME在MIMIC里是字符串格式直接按字符串排序可能因为格式不统一而出错。稳妥做法先转成datetime如果碰到解析失败的记录就丢弃。时间格式解析失败的笔记大多数是模板生成的无效记录丢弃影响很小。4.4 类别不平衡死亡样本只有一成ICU死亡率的标签分布很不平衡MIMIC里面院内死亡率一般不到15%意味着模型如果全部预测“活着”准确率也能有85%。但这种模型毫无意义。我用的是两种处理方式结合一是在训练时给正类样本增加权重scale_pos_weight二是在评估时坚持用PR曲线和AUC而不是只看准确率。另外我还尝试过用SMOTE过采样但发现SMOTE在表格特征上有效在处理文本情感特征聚合出的表格特征时容易过拟合所以最终没有采用。小建议如果你的目标是发论文记得报告同分布的校准曲线和置信区间临床上审稿人很看这个。5. 进一步扩展Beyond MIMIC的个人体会这个项目做完之后我心里最大的感慨是“不要被MIMIC这个数据库本身框住”。MIMIC确实是重症研究的宝藏但它的数据采集环境、人群结构、护理记录习惯都和真实世界有偏差。项目名里那句“beyond mimic”我理解有两层意思第一层是从MIMIC扩展到其他ICU数据库做外部验证第二层是跳出文本情感分析本身把护理笔记中更多隐含信息转化成特征比如事件序列、概念实体、时序模式等等。我自己在后续实验里尝试过替换成MIMIC-IV发现因为表格结构不同原有代码大概有20%需要重写尤其是护理笔记来源和hadm_id的联合键关系有所变化。建议新手找一个已经处理好的MIMIC-IV衍生数据库或者用Google BigQuery上的公开版本会省去很多本地环境配置的时间。最后再分享一个实用的小技巧护理笔记情感分析的结果最好和患者的实验室指标做一个简单的联合可视化比如用散点图看“情感分数均值 vs 乳酸值”的关系。我画出来后发现情感分数极端的患者往往对应着乳酸显著升高。这种跨模态的数据直觉比单纯堆模型参数更有意思也更容易引出新的研究问题。本文还有配套的精品资源点击获取