简介这份资源是面向计算机相关专业学生与NLP入门者的中文文本情感二分类实战项目基于BERT预训练模型完成适合用作毕业设计、课程设计或期末大作业也可作为项目实战练习的参考。项目经导师指导并认可评审分达98分整体方案完整、结构清晰。压缩包共40个文件约22.84MB以15个Python源码文件为核心配合5个CSV数据集、4个XML配置、3个TXT与3个Markdown说明文档另有2个Jupyter Notebook及BERT模型权重、词表等文件覆盖数据处理、模型训练、特征提取与预测全流程。资源中提供了微博、疫情等多来源中文语料并包含分类器运行脚本与预训练相关代码便于读者理解BERT在下游分类任务中的微调方式。目前已有296人学习下载适合希望快速上手中文情感分析、积累完整项目经验的学习者参考。1. 从一份 BERT 中文情感二分类源码说起它到底能解决什么问题电商评论、外卖评价、客服工单、弹幕留言这些场景里每天都会堆积大量中文短文本运营同学想知道「用户到底是满意还是不满意」靠人工一条条看根本不现实。基于 BERT 模型的中文文本情感二分类 Python 源码做的就是这件事把一句话喂进去输出正面或负面两个标签之一。它属于自然语言处理里最经典的句子级分类任务也是很多人接触预训练模型的第一站。这份项目说明加源码的组合适合三类人刚学完 Python 基础语法、想找一个能跑通的深度学习项目练手的新手需要快速搭一个情感分析基线、再往上叠业务逻辑的工程师以及要交课程设计或毕业设计、希望代码结构清晰能讲明白的学生。它不追求 SOTA追求的是「结构完整、能复现、能改」。读完你会清楚数据怎么组织、BERT 怎么接分类头、训练脚本每个参数在干什么、以及为什么你的模型在验证集上 98% 一到真实评论就翻车。2. 中文情感二分类的数据准备与 BERT 输入构造2.1 为什么中文场景不能照搬英文那套分词英文 BERT 用 WordPiece 把单词切成子词空格天然就是词边界。中文没有空格如果按字切一句话「这个手机真好用」会变成 7 个 token语义单元被打散如果先分词再喂给 BERT又会引入分词器误差而且和 BERT 预训练时的切分方式对不上。常见做法是直接用 BERT 自带的中文词表按字切分让 tokenizer 自己处理。这也是bert-base-chinese这类中文预训练模型的设计前提它的词表里绝大多数是单字和常见双字词。所以数据准备阶段你不需要自己分词只需要把原始文本和标签整理成两列剩下的交给 tokenizer。这一步看着简单但后面很多坑都埋在这里。2.2 数据格式与标签映射一份能直接跑的数据通常是这样的结构我一般用 TSV 或 CSV 存text label 这个手机续航太差了一天要充三次 0 客服态度很好问题当天就解决了 1 物流慢得离谱等了一周 0标签用 0/1 表示负面/正面别用「正面」「负面」这种字符串训练时还要额外做映射容易出错。数据量上二分类任务每个类别至少准备 1000 条以上否则 BERT 这种参数量级的模型几乎必然过拟合。如果手头数据少优先考虑数据增强或者换更小的模型而不是硬训。2.3 用 tokenizer 把文本转成模型输入下面这段是构造 Dataset 的核心逻辑我把它拆开讲from torch.utils.data import Dataset from transformers import BertTokenizer class SentimentDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_len128): self.texts texts self.labels labels self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): text str(self.texts[idx]) label int(self.labels[idx]) # truncation 截断超长文本padding 补齐到 max_len encoding self.tokenizer( text, add_special_tokensTrue, # 加 [CLS] 和 [SEP] max_lengthself.max_len, paddingmax_length, truncationTrue, return_attention_maskTrue, return_tensorspt ) return { input_ids: encoding[input_ids].flatten(), attention_mask: encoding[attention_mask].flatten(), labels: torch.tensor(label, dtypetorch.long) }逻辑说明add_special_tokensTrue会在句首加[CLS]这个位置的输出向量后面要拿去做分类paddingmax_length保证一个 batch 里所有样本长度一致attention_mask告诉模型哪些位置是真实 token、哪些是补齐的补齐位不参与注意力计算。参数说明max_len是最关键的一个。中文短文本评论大多在 30 字以内设 128 足够覆盖绝大多数样本显存也友好。如果你处理的是长评论或文章摘要可以调到 256 或 512但显存占用和训练时间会明显上升。truncationTrue必须开否则遇到超长文本直接报错。提示max_len不是越大越好。我见过有人直接设 512 跑短文本分类结果 90% 的位置都是 padding训练慢一倍效果没有任何提升。3. 模型搭建BERT 加分类头的两种接法3.1 取 [CLS] 向量接全连接层最经典的做法是拿 BERT 最后一层[CLS]位置的输出接一个线性层映射到 2 维import torch.nn as nn from transformers import BertModel class BertClassifier(nn.Module): def __init__(self, model_namebert-base-chinese, num_classes2, dropout0.3): super().__init__() self.bert BertModel.from_pretrained(model_name) self.dropout nn.Dropout(dropout) self.classifier nn.Linear(self.bert.config.hidden_size, num_classes) def forward(self, input_ids, attention_mask): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) # pooler_output 就是 [CLS] 经过一层 tanh 的结果 pooled outputs.pooler_output pooled self.dropout(pooled) logits self.classifier(pooled) return logits逻辑说明pooler_output是 BERT 预训练时专门为句子级任务准备的输出维度是 768。dropout放在分类头之前是防止过拟合的第一道防线中文小数据集上 0.3 到 0.5 都值得试。参数说明num_classes2对应二分类损失函数用CrossEntropyLoss即可不需要自己写 sigmoid。dropout如果设 0小数据集上训练两三个 epoch 验证集准确率就冲到 99%但测试集一塌糊涂这是典型的过拟合信号。3.2 冻结与微调的取舍BERT 有 1.1 亿参数你的数据可能只有几千条。全量微调容易把预训练学到的语言知识冲掉常见做法有两种策略做法适用场景显存全量微调所有参数都更新数据 1 万条以上高冻结底层只训最后 2 到 4 层加分类头数据几千条中只训分类头BERT 全部冻结数据极少、快速验证低冻结的代码很简单# 冻结 BERT 的 embedding 和前 8 层 for name, param in model.bert.named_parameters(): if encoder.layer in name: layer_num int(name.split(.)[3]) if layer_num 8: param.requires_grad False逻辑说明BERT 底层学的是通用语法和词义高层才偏向具体任务。数据少的时候冻结底层相当于把通用知识固定住只让高层适配你的情感分类任务收敛更快也更稳。参数说明冻结层数是个经验值。数据 3000 条左右我一般冻结前 8 层数据上万条就全量微调。判断标准很简单看验证集和训练集的准确率差距差距超过 5 个点就考虑多冻几层。3.3 学习率与优化器的设置BERT 微调的学习率要比从头训练小一到两个数量级常见区间是 2e-5 到 5e-5。用 AdamW 优化器权重衰减设 0.01from transformers import AdamW, get_linear_schedule_with_warmup optimizer AdamW(model.parameters(), lr2e-5, weight_decay0.01) total_steps len(train_loader) * epochs scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(0.1 * total_steps), # 前 10% 步数预热 num_training_stepstotal_steps )逻辑说明warmup让学习率从 0 线性升到设定值再衰减避免训练初期梯度太大把预训练权重破坏掉。这是 BERT 微调的标准操作省掉它经常出现 loss 震荡。参数说明lr2e-5是安全起点。如果 loss 一直不降先检查数据标签有没有错再考虑调到 3e-5 或 5e-5。epochs一般 3 到 5 就够中文情感二分类任务上超过 5 个 epoch 基本都在过拟合。4. 训练、评估与推理的完整链路4.1 训练循环里必须盯住的三个量训练脚本本身不复杂但有几个量要实时看for epoch in range(epochs): model.train() total_loss 0 for batch in train_loader: optimizer.zero_grad() input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[labels].to(device) logits model(input_ids, attention_mask) loss criterion(logits, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() scheduler.step() total_loss loss.item() avg_loss total_loss / len(train_loader) val_acc evaluate(model, val_loader, device) print(fEpoch {epoch1} | loss {avg_loss:.4f} | val_acc {val_acc:.4f})逻辑说明clip_grad_norm_做梯度裁剪防止个别 batch 梯度爆炸这是 BERT 训练里容易被忽略但很管用的一步。scheduler.step()每个 batch 调一次配合 warmup 使用。参数说明max_norm1.0是常用值。如果训练中出现 loss 突然变成 nan八成是梯度爆炸先加裁剪再看学习率是不是太大。4.2 评估指标不能只看准确率情感二分类如果正负样本比例是 9:1模型全预测正面也有 90% 准确率但毫无用处。所以要同时看精确率、召回率和 F1from sklearn.metrics import classification_report def evaluate(model, loader, device): model.eval() preds, trues [], [] with torch.no_grad(): for batch in loader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) logits model(input_ids, attention_mask) pred torch.argmax(logits, dim1).cpu().numpy() preds.extend(pred) trues.extend(batch[labels].numpy()) print(classification_report(trues, preds, target_names[负面, 正面])) return (np.array(preds) np.array(trues)).mean()逻辑说明model.eval()关掉 dropouttorch.no_grad()省显存。classification_report会输出每个类别的 precision、recall、f1比单一准确率信息量大得多。参数说明如果负面类别的召回率明显低于正面说明模型偏向多数类可以通过调整类别权重或者对少数类过采样来缓解。4.3 单条推理与批量推理训练完保存模型推理时加载回来def predict(text, model, tokenizer, device, max_len128): model.eval() encoding tokenizer( text, add_special_tokensTrue, max_lengthmax_len, paddingmax_length, truncationTrue, return_tensorspt ) input_ids encoding[input_ids].to(device) attention_mask encoding[attention_mask].to(device) with torch.no_grad(): logits model(input_ids, attention_mask) prob torch.softmax(logits, dim1) pred torch.argmax(prob, dim1).item() return {label: 正面 if pred 1 else 负面, score: prob[0][pred].item()}逻辑说明推理时一定要model.eval()否则 dropout 会让同一句话两次预测结果不一样这种玄学问题排查起来很费时间。返回概率分数方便业务侧设阈值比如低于 0.7 的转人工复核。参数说明max_len必须和训练时保持一致训练用 128 推理用 512 会导致位置编码对不上效果直接崩。5. 避坑与排查那些让模型「看着很好用着很烂」的原因5.1 验证集 99% 测试集 60%数据泄漏现象训练日志里验证集准确率一路涨到 99%换一批真实数据测试只有 60% 左右。原因最常见的是训练集和验证集切分前做了去重或采样导致同一条文本同时出现在两边或者验证集本身就是从训练集里随机抽的分布完全一致没有起到「模拟真实场景」的作用。解决切分前先按文本内容去重再按时间或来源切分让验证集和训练集在分布上有差异。如果数据本身同质化严重验证集准确率虚高是必然的别被数字骗了。5.2 模型只学会预测多数类现象正负样本 8:2模型把所有样本都预测成正面准确率 80%但负面一条都抓不出来。原因CrossEntropyLoss默认每个类别权重相同多数类主导了梯度方向。解决给损失函数加类别权重weighttorch.tensor([1.0, 4.0])这种或者对少数类做随机过采样。更彻底的做法是换 Focal Loss让模型聚焦难分样本。5.3 中文标点和特殊符号导致 tokenizer 报错现象训练到某条数据突然抛异常提示 token 超出词表范围。原因原始数据里混了 emoji、特殊符号或者全角半角混用tokenizer 遇到词表外的字符会映射成[UNK]一般不会报错但如果数据里有非法编码字符就会出问题。解决数据清洗阶段统一做一遍过滤去掉控制字符emoji 可以保留中文 BERT 词表里有部分 emoji但要做异常捕获。我一般会在 Dataset 的__getitem__里加 try-except遇到坏样本直接跳过并记录。5.4 显存不够batch size 和 max_len 的取舍现象跑训练脚本直接 OOM报 CUDA out of memory。原因batch_size设太大或者max_len设太长两者是乘数关系。解决优先降batch_size从 32 降到 16 再到 8配合梯度累积模拟大 batch。如果还不行再降max_len。另外torch.cuda.empty_cache()在验证阶段调一下能释放缓存但治标不治本。5.5 保存的模型加载后效果变差现象训练时验证集 95%保存后重新加载推理只有 70%。原因保存时只存了state_dict但加载时模型结构不一致或者保存的是model.state_dict()而加载时用了torch.load直接当模型用。解决统一用torch.save(model.state_dict(), path)保存加载时先实例化同结构模型再load_state_dict。如果用了DataParallel或DistributedDataParallel保存时要取model.module.state_dict()否则 key 里会多一层module.前缀。6. 让这份源码真正可用的几个进阶技巧6.1 用对抗训练提升鲁棒性中文情感分类模型很容易被同义词替换或语序调整骗到。FGMFast Gradient Method对抗训练是在 embedding 层加扰动成本低、效果好class FGM: def __init__(self, model): self.model model self.backup {} def attack(self, epsilon1.0): for name, param in self.model.named_parameters(): if param.requires_grad and embedding in name: self.backup[name] param.data.clone() norm torch.norm(param.grad) if norm ! 0: r_at epsilon * param.grad / norm param.data.add_(r_at) def restore(self): for name, param in self.model.named_parameters(): if name in self.backup: param.data self.backup[name] self.backup {}逻辑说明在正常前向反向得到梯度后往 embedding 参数上加一个沿梯度方向的小扰动再用扰动后的参数做一次前向反向最后恢复参数。相当于让模型在「最容易被攻击的方向」上也保持正确。参数说明epsilon一般设 0.5 到 1.0太大反而伤害正常训练。对抗训练会让每个 step 多一次前向反向训练时间增加约 50%但泛化能力提升明显尤其是数据量不大的时候。6.2 用置信度做业务兜底模型输出的 softmax 概率不是绝对可靠的但可以用来做分流。我的习惯是设两档阈值概率高于 0.9 直接给结果0.6 到 0.9 之间标记为「待复核」低于 0.6 直接转人工。这样既保证了自动化覆盖率又不会让明显错误的预测流到业务侧。具体实现就是在推理函数里加判断返回一个confidence_level字段。业务系统根据这个字段决定是直接展示还是进人工队列。这套机制在客服工单场景里特别实用因为误判一条负面工单的代价远高于多花人力复核。6.3 模型蒸馏换推理速度BERT 推理一条文本在 CPU 上大概几十毫秒QPS 要求高的场景扛不住。常见做法是蒸馏到 6 层甚至 4 层的小模型精度掉 1 到 2 个点速度提升 3 到 5 倍。蒸馏的损失函数是软标签交叉熵加硬标签交叉熵的加权和温度参数 T 一般设 2 到 4。如果不想自己训也可以直接用bert-base-chinese的蒸馏版本但要注意蒸馏模型和原模型的 tokenizer 必须一致否则输入对不上。6.4 一个我踩过的坑别在验证集上反复调参最后说个血泪经验。我早期做这个任务时看到验证集准确率不理想就改学习率、改 dropout、改 batch size反复试了二十几轮验证集终于到 97%。结果上线后真实数据只有 75%。问题在于我把验证集当成了测试集用模型间接「见过」了验证集的信息。正确做法是切三份训练集、验证集、测试集。验证集用来调参和早停测试集只在最后跑一次跑完就封存。如果数据实在少至少用交叉验证别盯着单一验证集反复调。这个习惯养成之后模型上线效果和离线评估的差距会小很多。希望帮到你。本文还有配套的精品资源点击获取