简介基于Bi-LSTM与FastText的网络舆情情感分析Python源码是一套面向高校人工智能、数据科学相关课程设计与期末作业的完整实现。项目已获导师指导并取得97分成绩从数据预处理、模型构建到训练评估与预测均附带详细代码注释下载即可运行无需额外修改。压缩包共18个文件包含8个Python脚本负责模型定义、训练、推理等核心逻辑、4个XML与1个IML项目配置文件用于IDE环境还原、4个TXT文本记录依赖说明或运行指引以及Git忽略规则文件总体积约778KB。资源结构清晰浏览学习人数已达335人。对正在完成情感分析类课题的学生而言该项目既可直接作为高分参考模板也可通过阅读Bi-LSTM与FastText的对比实现深入理解两种模型在舆情情感分析任务中的实际应用与调参思路。1. 课设答辩最怕的不是分低而是这套 Bi-LSTM FastText 源码讲不出原理每年课设答辩都会有这么一幕模型跑出了不错的准确率但老师一问“为什么嵌入层选 FastText”“双向 LSTM 的两个方向到底怎么拼接”现场就冷场。网络舆情情感分析是 NLP 课设里出现频率最高的选题之一因为数据好找、任务好量化、代码能分层展示而 Bi-LSTM FastText 的组合又正好是这类任务里性价比最高的配方FastText 把短文本里的表情词、变形词、低频词都兜住Bi-LSTM 从正反两个方向读上下文两者一拼只要数据预处理不偷懒结果足够撑起一份高分课设报告。这篇笔记直接拆到代码层面带你从头把 Python 源码、注释思路、参数调法和答辩话术一次对齐。2. 先把原理说透FastText 嵌入和 Bi-LSTM 的工作边界以及三个维度怎么对上拿到底层模型之前先想清楚一个问题舆情短文本里为什么 FastText 比 Word2Vec 甚至 BERT 都更适合课设场景因为社交平台上的文本太碎了——“集美们”“栓Q”“绝绝子”这类词在词典里根本不存在Word2Vec 遇到未登录词只能给一个随机向量而 FastText 会把词拆成子词 n-gram哪怕某个词没在词典里出现过也能根据子词拼出一个合理向量。BERT 不是不行但中文预训练模型动辄几百 MB课设机器上跑起来要配环境、等推理成本远高于它带来的那点准确率提升。2.1 为什么选 FastText子词 n-gram 对舆情短文本的价值FastText 的核心思想是每个词由它内部的字符 n-gram 向量求和得到。比如“集美们”会被拆成“集”“美”“们”“集美”“美们”等子词即使测试集里出现“集美”模型也知道它和“集美们”共享大部分子词。这个特性对脏乱差的舆情语料非常友好——微博、短视频评论里的错别字、谐音梗、中英混写都不会因为词表缺失而变成unk。常见做法是先用 gensim 在自己的语料上训一个 FastText 模型再把词向量导入 PyTorch 的nn.Embedding。课设数据通常只有几万条训练一个 128 维的 FastText 只要几分钟from gensim.models import FastText from gensim.models.word2vec import LineSentence # corpus_seg.txt 是已经分词、用空格隔开的舆情语料 ft FastText( LineSentence(corpus_seg.txt), vector_size128, # 向量维度后面要和 Embedding 层对齐 window5, # 上下文窗口短文本取 3~5 都行 min_count2, # 词频低于 2 的直接丢弃减小词表 sg1, # 1 表示 skip-gram小数据上比 CBOW 稳 epochs10, # 语料小epochs 可以给到 10~20 min_n2, # 子词 n-gram 最小长度 max_n4 # 子词 n-gram 最大长度中文建议 3~4 ) ft.save(fasttext_128.model)这段代码跑完后ft.wv里就保存了每个词的向量。注意vector_size必须是最终 PyTorch 模型里nn.Embedding的embed_dim否则加载权重时维度对不上。我习惯把min_count设为 2舆情文本里大量出现一次的噪声词留着只会把词表撑大、让模型去拟合偶然共现。min_n和max_n控制子词粒度中文里取 2~4 一般能覆盖词根和常见后缀。2.2 Bi-LSTM 的门控机制和双向拼接在舆情文本里的意义LSTM 靠三个门控制信息流动遗忘门决定上一时刻的细胞状态留多少输入门决定当前候选值写进多少输出门决定当前隐藏状态暴露多少。单向 LSTM 只能从左往右读但舆情文本经常“先扬后抑”比如“东西不错但客服实在太差”单向模型读到“不错”时已经给了偏正面的信号等看到“太差”时前面的信息要么被冲淡、要么被记在了不恰当的位置。Bi-LSTM 再加一条反向分支从右往左读一遍最后把两个方向的输出拼起来转折信息就同时被正向和反向捕获了。在 PyTorch 里创建双向 LSTM 只需一个参数import torch import torch.nn as nn bilstm nn.LSTM( input_size128, # 必须和 FastText 向量维度一致 hidden_size256, # 单向隐藏单元数 num_layers1, # 课设一层足够两层要加大 dropout batch_firstTrue, # 输入形状 (batch, seq_len, embed_dim) bidirectionalTrue # 双向开关 ) # 模拟一批数据8 条样本每条 40 个词embedding 维度 128 x torch.randn(8, 40, 128) out, (hn, cn) bilstm(x) print(out.shape) # torch.Size([8, 40, 512])输出形状里最后一个维度是 512等于hidden_size * 2。很多人在这里犯错全连接层的输入维度写成hidden_size结果模型一跑就报形状不匹配。还要注意hn的形状是(num_layers * 2, batch, hidden_size)索引hn[-2]是正向最后一层的最后时刻hn[-1]是反向分支的。课设答辩时能把这个形状讲清楚基本就过关了一半。2.3 维度核对手账从词表到分类输出的每一步都要能接上搭建模型前我会先画一张形状交接表每层的输入输出都写下来避免代码里出现隐性维度不一致层输入形状输出形状Embedding(batch, seq_len)(batch, seq_len, embed_dim)Dropout(batch, seq_len, embed_dim)(batch, seq_len, embed_dim)Bi-LSTM(batch, seq_len, embed_dim)(batch, seq_len, hidden_size * 2)池化拼接(batch, seq_len, hidden_size * 2)(batch, hidden_size * 4)全连接(batch, hidden_size * 4)(batch, num_classes)这里有一个课设里常见的分歧点Bi-LSTM 输出到底怎么整合成一个向量。有人直接取out[:, -1, :]只拿最后一个时刻我推荐把最后时刻的双向拼接和全局平均池化再拼一次因为从out[:, -1, :]拿到的只是“句子末尾处的双向信息”中间关键词的贡献会被平均掉。具体拼接方式在第四章模型代码里展示。3. 从原始舆情语料到模型输入标签设计、清洗、分词和序列化一条龙模型只是整条链路的后半段真正决定分数的是数据预处理。课设项目里最常见的翻车发生在这一步拿到爬虫数据后直接丢进模型结果训练损失降不下去一查发现文本里全是网页链接、用户和乱码。本节按线顺序把所有处理步骤写成可直接复制的代码。3.1 先定标签和样本量舆情情感分析的任务设计网络舆情情感分析通常做三分类正向、负向、中性。也有课设只做正向/负向二分类但我建议做三分类因为答辩时三分类的难度和结果呈现都更有说服力——二分类很容易被老师质疑“中性样本去哪了”。数据量上每类至少 3000 条总计一万条左右Bi-LSTM 在小数据上才不会明显过拟合。数据落地后第一件事是统计标签分布import pandas as pd df pd.read_csv(weibo_public_opinion.csv, encodingutf-8-sig) print(df.columns.tolist()) # 确认字段名常见是 text, label print(df[label].value_counts()) # 看三类样本是否均衡如果某类只有几百条后面训练时要么用类别权重要么对少样本类别做简单过采样。我见过不少人忽略这一步最后测试集准确率很高、F1 很低就是少数类几乎全被预测成了多数类。先把分布打出来再决定要不要在损失函数里加权重这一步花不了两分钟但能帮你避开后续调参的很多迷惑行为。3.2 清洗和分词把微博文本变成干净的中文词序列舆情文本的噪声来源比新闻语料多得多URL、用户名、话题标签、连续标点、繁体字、表情符号。清洗的目标不是把文本变成纯中文而是把噪声去掉、把情感信号保留。我的清洗规则是import re import jieba STOPWORDS set() # 实际使用时从 stopwords.txt 读取这里只做演示 with open(stopwords.txt, encodingutf-8) as f: STOPWORDS set(line.strip() for line in f) def clean_text(text): if not isinstance(text, str): return text re.sub(rhttps?://\S, , text) # 去掉网页链接 text re.sub(r[\w\u4e00-\u9fa5], , text) # 去掉 用户 text re.sub(r#([^#])#, r\1, text) # 话题标签里保留正文 text re.sub(r[。、], , text) # 中文标点统一为空格 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9 ], , text) # 去掉表情和特殊符号 return text.strip() def seg_text(text): words jieba.lcut(clean_text(text).lower()) return [w for w in words if w.strip() and w not in STOPWORDS]这里有两个细节值得注意。第一话题标签“#疫苗#”不应该被整体删掉把#去掉保留“疫苗”反而能给情感判断提供主题上下文。第二表情符号我直接删掉但如果你做的任务是视频弹幕、直播评论这种表情密度高的语料表情本身是强情感信号建议单独抽出来作为额外特征而不是简单丢弃。删表情是一种简化处理适用于微博文本为主的数据。分词用 jieba 的lcut返回的就是词列表。STOPWORDS要包含“的、了、吗、在”这类虚词但不要包含“不、没、很”这种带情感倾向的副词。把“很”塞进停用词表是最常见的错误它直接削弱否定表达。3.3 序列化和 DataLoader把词序列变成模型能消费的整数张量分词完成后需要建立词表把每个词映射到整数 id。词表构建有一点禁忌只能拿训练集来建验证集和测试集里的词如果不在词表里统一映射为unk。很多人图省事先对全部数据分词、再统一建词表这就造成了数据泄露测试集效果会虚高答辩时经不起追问。from collections import Counter import torch from torch.utils.data import Dataset MAX_LEN 64 def build_vocab(tokenized_texts, min_freq2): counter Counter() for tokens in tokenized_texts: counter.update(tokens) vocab {} vocab[pad] 0 vocab[unk] 1 for word, cnt in counter.items(): if cnt min_freq: vocab[word] len(vocab) return vocab def encode(seq, vocab): ids [vocab.get(w, 1) for w in seq[:MAX_LEN]] # 超长截断 ids ids [0] * (MAX_LEN - len(ids)) # 不足补0 return ids class SentimentDataset(Dataset): def __init__(self, texts, labels, vocab): self.data [encode(seg_text(t), vocab) for t in texts] self.labels labels def __len__(self): return len(self.data) def __getitem__(self, idx): return torch.tensor(self.data[idx], dtypetorch.long), \ torch.tensor(self.labels[idx], dtypetorch.long)MAX_LEN的选择依据是语料长度分布舆情短文本在 30~60 个词之间取 64 能覆盖绝大多数样本。如果最长句子有 200 词硬拉到 64 会丢信息可以先统计len(seg)的分位数取 90% 分位点作为MAX_LEN。补零用的是padid也就是 0后面 Embedding 层要把padding_idx0指出来才能保证 padding 位置不参与梯度更新。4. 用 Python 把 Bi-LSTM FastText 模型跑起来结构定义、训练循环和关键参数到了这一章才真正动手写模型。前面准备的 FastText 权重、分词词表、DataLoader都在这里汇合。PyTorch 课设里最省心的写法是把模型定义、训练循环、评估函数拆成三个独立的 .py 文件逻辑清楚、注释好写答辩老师翻开代码也更容易抓重点。4.1 模型定义Embedding Bi-LSTM 池化拼接 全连接import torch import torch.nn as nn import torch.nn.functional as F class BiLSTMFastText(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_size256, num_classes3, dropout0.3, pretrained_embNone): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) if pretrained_emb is not None: self.embedding.weight.data.copy_(torch.tensor(pretrained_emb, dtypetorch.float32)) self.bilstm nn.LSTM( embed_dim, hidden_size, num_layers1, batch_firstTrue, bidirectionalTrue ) self.dropout nn.Dropout(dropout) self.fc nn.Linear(hidden_size * 4, num_classes) # 2(方向) * 2(拼接和池化) def forward(self, x): emb self.dropout(self.embedding(x)) # (batch, seq_len, embed_dim) out, _ self.bilstm(emb) # (batch, seq_len, hidden*2) h_forward out[:, -1, :hidden_size] # 正向最后时刻 h_backward out[:, 0, hidden_size:] # 反向最后时刻对应最左侧 h_cat torch.cat((h_forward, h_backward), dim-1) # (batch, hidden*2) avg_pool torch.mean(out, dim1) # (batch, hidden*2) vec torch.cat((avg_pool, h_cat), dim-1) # (batch, hidden*4) vec self.dropout(vec) return self.fc(vec)代码里最容易忽略的是隐藏状态的拼接位置。反向分支在out[:, 0, hidden_size:]因为batch_firstTrue时时间步 0 对反向 LSTM 来说是句子的末端它携带的是从右往左读到最后一个词后汇总的信息。如果错写成out[:, -1, hidden_size:]拿到的反而是反向分支在句子左侧的初态等于把最没有信息量的部分当成了特征。池化拼接后全连接输入是hidden_size * 4这个数字必须和 2.3 节的形状表完全一致。使用pretrained_emb时建议把 FastText 里没有覆盖到的词向量保持随机初始化不要去动pad和unk对应的行。4.2 训练循环早停、学习率衰减和梯度裁剪一个都不能少课设训练最常见的现象是 loss 先降后升然后模型收敛到很差的位置。小数据上 Adam 也挡不住过拟合所以训练循环里要同时加早停和梯度裁剪。早停的逻辑是验证集 loss 连续多个 epoch 不降就停保存在验证集上表现最好的权重。def evaluate(model, loader, loss_fn): model.eval() total_loss, correct 0, 0 with torch.no_grad(): for xb, yb in loader: pred model(xb) loss loss_fn(pred, yb) total_loss loss.item() * len(xb) correct (pred.argmax(dim1) yb).sum().item() return total_loss / len(loader.dataset), correct / len(loader.dataset) def train(model, train_loader, val_loader, epochs15): loss_fn nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr2e-3) scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience2 ) best_loss, freeze_epoch float(inf), 0 for epoch in range(epochs): model.train() train_loss 0 for xb, yb in train_loader: optimizer.zero_grad() pred model(xb) loss loss_fn(pred, yb) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() train_loss loss.item() * len(xb) val_loss, val_acc evaluate(model, val_loader, loss_fn) scheduler.step(val_loss) print(fepoch {epoch1}: train_loss{train_loss/len(train_loader.dataset):.4f}, fval_loss{val_loss:.4f}, val_acc{val_acc:.4f}) if val_loss best_loss: best_loss val_loss torch.save(model.state_dict(), bilstm_fasttext.pt) freeze_epoch 0 else: freeze_epoch 1 if freeze_epoch 3: break # 连续三个 epoch 不下降就早停clip_grad_norm_的作用是把梯度范数限制在 5 以内防止某些样本产生异常大的梯度、把参数一步冲走。学习率衰减用ReduceLROnPlateau验证集 loss 不降就减半比固定每多少轮衰减更省心。训练结束只保存state_dict答辩换机器演示时加载权重就行。4.3 必调参数对照表每个参数改多少、为什么参数推荐值调整方向embed_dim128短文本 64 就够长文本可上 256hidden_size256数据量小于 1 万条时别超 256num_layers1层数 1dropout 必须同步往上加dropout0.3过拟合明显提到 0.5欠拟合降到 0.2batch_size64样本少用 32显存紧张用 16lr2e-3用 Adam 时 1e-3~3e-3 是安全区间MAX_LEN64根据长度分布 90% 分位点决定min_freq2词表过大就提到 3进一步过滤低频噪声这批参数的经验来自实战。小数据上hidden_size太大不是表现更好而是更容易把训练集背下来lr太高会让 Bi-LSTM 的梯度震荡训练曲线像锯齿。课设阶段不需要网格搜索先跑一组默认参数看验证集准确率再围绕上面四个方向各做一次单变量实验报告里就有对比数据了。5. 课设最容易翻车的 5 个坑从数据泄露到训练不稳定这一章直接记录我踩过和帮别人排查过的典型问题每一条都按“现象、原因、解决”的格式写你可以对照自己的报错和曲线确认。5.1 坑一词表用全量数据构建验证和测试结果虚高现象训练时 loss 下降很快验证集准确率也接近训练集模型看起来无可挑剔但把代码原封不动换一批新数据测试效果掉得一塌糊涂。原因有人先把整个 csv 读进来、对所有文本分词、再建词表然后才划分训练集和测试集。测试集里的词已经参与过词表构建等于提前“见过”了一次这些词严格说这是数据泄露论文和课设里都不合规范。解决先把数据按 8:1:1 拆成 train/val/test 三份词表只用 train 部分构建验证集和测试集里的新词统一映射到unk。代码很简单就是调整构建词表的调用时机但能体现你是否理解经验风险最小化的前提。5.2 坑二加载 FastText 权重后没冻结嵌入层小数据上把词向量越训越歪现象第一个 epoch 验证集准确率还不错越往后越低训练集上反而继续下降典型的过拟合甚至不收敛长相。原因加载的 FastText 词向量是语料上预训练好的但训练时nn.Embedding默认参与梯度更新。舆情课设数据只有一万条左右模型很快会把这些词向量调到只对训练集友好、对验证集完全不友好的位置。解决在模型初始化后冻结嵌入层只训练 Bi-LSTM 和全连接层model BiLSTMFastText(vocab_size, pretrained_embft_vectors) model.embedding.weight.requires_grad False如果冻结后效果不理想再放开嵌入层、把学习率调到 1e-4 级别做微调。我的经验是冻结策略在数据量少于 2 万条时几乎总是更稳。5.3 坑三只取最后一个时刻的隐藏状态长文本的转折信息被浪费现象短句的分类正确率不错但超过 30 个词的句子容易分错尤其是带着“虽然…但是”这种转折结构的。原因out[:, -1, :]拿到的是正向分支在句子末尾的隐状态它是对整句信息的高度压缩但转折点出现在句子中部时末尾状态已经夹杂了大量后续信息。Bi-LSTM 的优势恰恰在双向融合只用最后一步等于自废一半武功。解决使用 4.1 节里“最后时刻拼接 全局平均池化再拼接”的组合把两个方向的末端状态和所有时刻的平均信息都喂给全连接层。这个改动不需要调参只改forward里的特征组装部分效果立竿见影。5.4 坑四样本不均衡却只用 accuracy 当指标现象测试集 accuracy 有 85%但打开分类报告中性类别的 F1 几乎为 0所有中性样本都被预测成了负向。答辩老师一问就没法接话。原因多数类占比超过 70% 时模型只要全预测成多数类accuracy 就能过 80这个指标对少数类完全没有约束力。解决评估阶段用classification_report看每个类别的 precision/recall/F1训练阶段给少数类加大权重class_weights torch.tensor([1.0, 2.0, 1.5]) # 负向多、中性少时这样设 loss_fn nn.CrossEntropyLoss(weightclass_weights)权重的具体数值不是拍脑袋按多数类样本量 / 少数类样本量的比例粗调比如负向 10000 条、中性 4000 条中性类权重就约等于 2.5。训练后再看 F1 macro比单独看 accuracy 有意义得多。5.5 坑五动态 padding 场景下 seq_len 差异大GPU 显存和时间都浪费在补零上现象MAX_LEN设为 128但大多数样本只有 20 个词训练速度慢显存占用高得离谱。原因DataLoader 在同一个 batch 内按最大长度补齐最长的样本决定了这个 batch 的计算量。如果语料里偶尔有一两条极长评论它们会把整个 batch 的序列长度拉到 128。解决训练前把语料按分段长度排序让长度相近的样本进同一个 batch再配合MAX_LEN截断。课设阶段最简单的实现是sorted_indices sorted(range(len(seq_lengths)), keylambda i: seq_lengths[i])然后按排序后的索引重新组织训练集和标签。这种“分桶”策略不用改模型训练时间能省三分之一还能让 padding 比例大幅下降。6. 课设答辩加分的验证技巧混淆矩阵、对比实验和可复现性模型训练完不等于课设做完剩下这几件事决定了报告和答辩的档次。先用 sklearn 生成完整指标再把单模型结果和消融对比摆在一起最后把随机种子和超参数记死。from sklearn.metrics import classification_report, confusion_matrix, ConfusionMatrixDisplay import matplotlib.pyplot as plt # y_true 是测试集真实标签y_pred 是模型预测标签 print(classification_report(y_true, y_pred, target_names[负向, 中性, 正向])) cm confusion_matrix(y_true, y_pred) ConfusionMatrixDisplay(cm, display_labels[负向, 中性, 正向]).plot() plt.savefig(confusion_matrix.png, dpi200, bbox_inchestight)有了混淆矩阵图答辩时就可以指给老师看哪些负向样本被错分到了中性集中在哪些表述上。除分类指标外建议加一组消融实验把 Bi-LSTM 换成单向 LSTM、把 FastText 换成随机初始化的 Embedding、把池化拼接改成只取最后时刻三个对比模型跑同样的训练配置画一张表格。这比单纯堆 BERT 更能体现你对模型结构的理解也更容易在答辩时变成“你改了什么、效果变了多少”的回答素材。另外可复现性在课设里经常被忽略但很容易成为加分项。我的习惯是训练结束后把随机种子、学习率、batch size、词表大小、最终验证集 F1 一并写进一个config.json或报告附录下次打开项目不用靠记忆。python 环境配置也建议在 README 里写明版本避免答辩现场因为 PyTorch 版本不同而翻车。走到这一步这套基于 Bi-LSTM FastText 的舆情情感分析源码就已经从“能跑”变成了“能讲、能改、能复现”希望这份完整链路能帮到正在赶课设的你。本文还有配套的精品资源点击获取