简介这套基于Python机器学习与深度学习的股市评论情感分析毕业设计项目主要解决股市评论情感倾向自动分析与市场走势联动可视化问题面向计算机相关专业正在准备毕业设计、课程设计或期末大作业的学生也适合希望进阶金融文本挖掘实战的开发者。项目经导师指导获评审98分包含完整项目代码与设计报告。资源共12个文件涵盖4个Python脚本分别实现传统机器学习模型、深度学习模型、情感指数计算和结果绘图、2个CSV数据文件含上证指数历史数据与模型预测得分数据、2个txt情感词典、2个PNG分析图、1个评论数据压缩包及1个Markdown说明文档整体约24.72MB。从数据读取、情感词典匹配、特征工程到机器学习与深度模型训练评估再到情感指数与股市走势联动的可视化形成完整技术链路代码与报告结构清晰便于理解与复用改造。目前已有394人学习下载可作为毕业设计或实战项目的高质量参考。1. 股市评论情感分析为什么值得做先把“做什么”讲清楚很多同学拿到“基于python机器学习深度学习实现股市评论情感分析”这个题目第一反应是去找最炫的模型但真正让进度卡壳的往往是那些看起来不起眼的数据标注和清洗环节。股市评论情感分析本质上是一个中文短文本分类问题把股吧、雪球上的用户评论映射到“看多 / 看空 / 中性”三个类别里再与行情数据做对照验证市场情绪是否真的能辅助判断价格走势。它很适合作为毕业设计因为既考察了 Python 数据处理基本功又能同时覆盖机器学习和深度学习两条技术路线写报告时素材非常饱满。适合金融、计算机、数据分析方向的同学也适合想用 Python 完整走一遍 NLP 落地流程的从业者。接下来我按照自己实际做过一遍的顺序来拆解这套方案。2. 数据是黑匣子的入口评论采集、清洗与标注的落地路径做情感分析模型只是最后一段路。股市评论文本短、口语重、夸张词多数据质量直接决定后面机器学习模型的上限。这一章先把数据链路打通否则后面调参全是在垃圾上雕花。2.1 数据源选型为什么东方财富股吧比微博更合适股市评论情感分析的数据源常见的主要有四类东方财富股吧、雪球、新浪财经、微博。我一般会优先选东方财富股吧原因有三个评论密度高、自带股票代码和时间戳、不需要复杂登录就能拿到公开内容。对比一下你就明白了数据源评论风格时间戳股票代码关联最大缺点东方财富股吧短句多、情绪极端完整按股票代码分板块口语噪声大雪球偏长文分析完整有帖子偏理性、样本量小新浪财经短评论部分缺失无历史数据难翻页微博短句多完整无无关话题噪声太大选数据源时还要想清楚一个问题你的研究对象是“单只股票”还是“整个市场情绪”。如果做单只股票的评论分析比如贵州茅台直接去股吧按代码抓就行评论目标明确。如果做市场整体情绪就得同时抓多只股票的评论再合并这时时间戳的对齐就很重要。我建议毕业设计选 3 到 5 只成交活跃的股票每只抓 3000 条以上评论既控制数据量又能让模型看到不同个股的评论风格差异。爬取时注意合规。常见做法是控制请求间隔遵守目标网站的访问条款数据仅用于个人研究与毕业设计不要大规模抓取后公开分发数据包。这个边界一定守住答辩时老师问到数据来源你也能答得干净。2.2 清洗规则把“跌成狗了”变成模型能读懂的序列爬下来的原始评论是不能直接进模型的。股吧评论里充斥着 HTML 标签、提及、链接还有“哈哈哈哈哈哈”“666666”这类噪声。清洗的粒度很关键太粗保留一堆废词太细会把“跌停”这种核心情绪词给切碎。我一般用下面这套规则import re import jieba def clean_and_cut(text: str, word_dict_path: str None) - list: # 1. 去HTML标签 text re.sub(r[^], , text) # 2. 去提及 text re.sub(r[\w\u4e00-\u9fa5], , text) # 3. 去URL text re.sub(rhttps?://\S, , text) # 4. 只保留中英文、数字和句子标点感叹号是情绪信号要保留 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。!?,], , text) text re.sub(r\s, , text).strip() # 5. 加载金融词典避免“跌停”被切成“跌”“停” if word_dict_path: jieba.load_userdict(word_dict_path) # 6. 分词并过滤单字噪声 tokens [w for w in jieba.lcut(text) if len(w) 1] return tokens这段代码的逻辑是按层做减法先处理网页结构残留再做字符级过滤最后用自定义词典兜住金融术语。参数里有几个值得注意的点。word_dict_path指向一个自定义词典每行一个词比如“跌停、涨停、放量、割肉、主力、利好、利空”有了它jieba就不会把“跌停”拆成“跌”和“停”。len(w) 1这个过滤很重要股吧评论里大量单字感叹词“哈”“哦”“啊”切掉能显著降低特征维度。不过这类过滤别做得太死因为“牛”和“崩”这种单字在股市语境里是有明确情绪倾向的所以我的词表里会单独保留它们。清洗之后要做一次高频词统计把无意义但高频的词加进停用词表。股吧里常见的“感觉”“觉得”“有没有”“应该”都是语气填充词对分类没帮助留着只会稀释真正的情绪词权重。这一步没有标准答案就是多看数据看词频表手动迭代两三轮。2.3 标注策略先做规则预标注再引入一致性检验股市评论情感分析是监督学习必须有标签。但人工标注几千条数据对于毕业设计来说时间成本太高常见的做法是“规则预标注 人工修正”。规则很简单评论里出现“涨停”“赚了”“牛”“吃肉”这类词初判为看多出现“跌停”“亏惨”“割肉”“垃圾股”初判为看空其余归为中性。抽出来之后人只需要做修正而不是从零标注效率能提升一大半。但这里有个坑规则预标注会让模型学到你的规则而不是学语言本身。因此标注完一定要做一致性检验。两位标注者对同一批样本分别打标签用 Kappa 系数度量一致性from sklearn.metrics import cohen_kappa_score # y1 和 y2 是两位标注者对同一批评论的三分类标签 kappa cohen_kappa_score(y1, y2) print(f两位标注者的Cohens Kappa {kappa:.2f})这段代码的意义不在于看数字而在于暴露标注歧义。Kappa 高于 0.6 才说明标注标准可复用低于 0.4 就要重新坐在一起讨论分歧样本。我遇到最多的分歧是“涨了但量能不够感觉要回调”这种句子它既有乐观又有警惕硬归类为看多或看空都不合适。这时候要么接受它属于中性要么把标签设计成四分类增加一个“混合情绪”。三分类对机器学习任务友好四分类对业务解释友好毕设建议用三分类报告里在不足部分提一句“未来可扩展为四分类”就够了。数据准备好了后面才是机器学习登场的时刻。但记住一句话标签泄漏和标注噪声是这类课题里两个最大的黑匣子后面模型表现不对时先回头查数据不要急着换模型。3. 机器学习基线用 TF-IDF 和逻辑回归先跑通最小闭环很多同学一上来就直接上深度学习结果模型收敛慢、显存不够、效果还不如简单模型。我的做法是先搭一套机器学习基线用最短时间跑通“数据 → 特征 → 训练 → 评估”的最小闭环确认数据没问题再考虑要不要上深度模型。这个顺序能帮你省下一大截调参的时间。3.1 特征工程TF-IDF、词向量与情感词典的配合文本分类的特征工程最直接的是 TF-IDF。它不需要训练词向量不需要 GPU几分钟就能跑出一版结果。股市评论大多是几十字以内的短文本TF-IDF 对这种场景非常合适因为它能把“涨停”“跌停”这种高区分度词突出出来。from sklearn.feature_extraction.text import TfidfVectorizer import jieba # list_of_comments 是清洗后的文本列表 # 用jieba分词替代默认的空格分词,这是中文文本的关键 vectorizer TfidfVectorizer( tokenizerjieba.lcut, ngram_range(1, 2), # 保留相邻词组合,如放量上涨 min_df3, # 至少在3条评论中出现过 max_features5000 ) X vectorizer.fit_transform(list_of_comments)几个参数的取舍逻辑说一下。ngram_range(1, 2)表示只保留单个词和相邻双词组合三词以上的组合在短评论里太稀疏生成长尾特征反而过拟合。min_df3过滤掉只出现过一两次的词这类词往往是打错字或极端个体表达对分类没有统计意义。max_features5000是给特征空间封顶让矩阵不要太大也方便后续训练迭代。如果你的电脑配置好或者学有余力还可以再叠一个 Word2Vec 特征用全部语料训练一个轻量 Word2Vec然后对评论内所有词的向量取平均拼到 TF-IDF 特征后面。这个做法能引入语义相似性比如“亏钱”和“亏惨”在 TF-IDF 里是两个完全不同的特征但在词向量空间里距离很近。不过毕设阶段先跑纯 TF-IDF 就足够建立基线了。3.2 模型选型从朴素贝叶斯到 XGBoost 的进阶路径有了 TF-IDF 特征矩阵接下来就是选分类器。我建议按这个顺序试多项式朴素贝叶斯 → 逻辑回归 → XGBoost。朴素贝叶斯做baseline速度最快逻辑回归在文本分类上通常效果比它好一截XGBoost 则是对前两者的上限验证。from sklearn.pipeline import Pipeline from sklearn.naive_bayes import MultinomialNB from sklearn.linear_model import LogisticRegression from sklearn.model_selection import cross_val_score # 两份评论文本和标签 X_text [...] # 清洗后的评论文本 y [...] # 三分类标签: 0看空, 1中性, 2看多 pipelines { 朴素贝叶斯: Pipeline([ (tfidf, TfidfVectorizer(tokenizerjieba.lcut, ngram_range(1, 2), min_df3, max_features5000)), (clf, MultinomialNB(alpha0.5)) ]), 逻辑回归: Pipeline([ (tfidf, TfidfVectorizer(tokenizerjieba.lcut, ngram_range(1, 2), min_df3, max_features5000)), (clf, LogisticRegression(max_iter1000, class_weightbalanced)) ]), } for name, pipe in pipelines.items(): scores cross_val_score(pipe, X_text, y, cv5, scoringf1_macro) print(f{name}: 平均F1 {scores.mean():.4f})这段代码里最值得注意的参数是逻辑回归的class_weightbalanced。股吧评论里中性样本通常占比超过一半如果不做处理模型会学成“永远预测中性”也能拿高准确率。balanced会根据类别样本量自动放大少数类的损失权重让模型被迫认真看“看空”和“看多”样本。朴素贝叶斯的alpha0.5是平滑系数默认的alpha1.0对稀疏特征惩罚太重调到 0.5 通常效果更稳当然这个值在你的数据上也可以再扫。跑完对比你会发现逻辑回归的 F1 一般比朴素贝叶斯高 3 到 5 个百分点。原因很简单朴素贝叶斯假设特征相互独立但“涨停”和“封板”在评论里经常一起出现独立性假设被破坏逻辑回归没有这个假设而且能自动学习特征的加权组合。3.3 评估指标别只盯着准确率金融场景更看重召回率分类问题的常用评估指标是准确率但在股市评论情感分析里准确率有很强的欺骗性。假设 60% 的评论是中性一个“全都预测中性”的模型准确率就有 60%但这套东西拿到业务上毫无价值。正确的做法是用混淆矩阵看每一类的表现尤其是“看空”这一类的召回率。from sklearn.metrics import classification_report, confusion_matrix from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X_text, y, test_size0.2, random_state42 ) lr LogisticRegression(max_iter1000, class_weightbalanced) lr.fit(vectorizer.transform(X_train), y_train) y_pred lr.predict(vectorizer.transform(X_test)) print(classification_report(y_test, y_pred, target_names[看空, 中性, 看多])) print(confusion_matrix(y_test, y_pred))逻辑回归的coef_是另一个宝藏它直接告诉你每个词对分类的贡献方向。把权重排序后你会看到“爆雷”“退市”“跑路”这些词对应的权重很高且为负“合同”“中标”“回购”权重为正。这些权重可以反过来验证你的业务直觉写报告时是很直观的支撑材料。金融场景里“看空”评论的召回率比精确率更重要。原因很简单漏掉一条看空信号可能意味着错过一次风控提醒而误判一条中性评论为看空损失相对小。如果测试集上“看空”类的召回率明显偏低可以考虑把逻辑回归的分类阈值从默认的 0.5 调低比如调到 0.3用验证集找这个最优阈值。这是机器学习里少有的几个免费午餐之一。4. 深度学习进阶用 TextCNN 与 BERT 把准确率推过阈值机器学习基线跑通之后深度学习才有意义。这一章的任务不是“为了深度学习而深度学习”而是解决两个实际问题怎么让模型学会“涨停封单坚决”和“冲高回落套牢”这类复杂语义以及在没有高性能 GPU 的情况下怎么落地。4.1 TextCNN为什么它是性价比最高的深度模型文本分类里的深度学习模型TextCNN 是最适合毕业设计的没有之一。它结构简单、训练快、效果稳定而且性能通常明显优于 TF-IDF 加逻辑回归。TextCNN 的核心思想是用多个不同宽度的卷积核去扫描词序列每个卷积核负责捕捉一个局部模式宽度为 2 的卷积核捕捉“涨停封板”这类双词搭配宽度为 3 的捕捉“冲高回落”这类三词片段宽度为 4 的能覆盖“主力资金流出”这种四词短语。import torch import torch.nn as nn import torch.nn.functional as F class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim100, num_filters128, num_classes3): super().__init__() # padding_idx0 表示索引0是填充位,不参与梯度更新 self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) # 三种卷积核宽度,每种128个过滤器 self.convs nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, kernel_sizeks, paddingks // 2) for ks in (2, 3, 4) ]) self.fc nn.Linear(num_filters * 3, num_classes) self.dropout nn.Dropout(0.5) def forward(self, x): # x 形状: [batch_size, seq_len],元素是词在词表中的索引 emb self.embedding(x) # [batch, seq_len, embed_dim] emb emb.transpose(1, 2) # [batch, embed_dim, seq_len] # 每个卷积核在序列上滑窗,再对整条序列做最大池化 pooled [] for conv in self.convs: out F.relu(conv(emb)) # [batch, filters, seq_len] out F.max_pool1d(out, kernel_sizeout.size(-1)).squeeze(-1) pooled.append(out) out torch.cat(pooled, dim1) # 拼接三种尺度的特征 return self.fc(self.dropout(out))这个模型的关键参数embed_dim100是词向量维度毕设阶段用随机初始化的 100 维足够了不需要加载大规模预训练词向量num_filters128是每种卷积核的个数太小欠拟合太大训练慢128 是个平衡点paddingks // 2是保持序列长度不变的填充策略否则卷积后序列越来越短池化时容易丢失边缘信息。dropout0.5是防过拟合的核心文本分类模型在 5000 条小数据上很容易过拟合把 dropout 从 0.3 提到 0.5 往往比换模型效果更明显。训练时用CrossEntropyLoss做损失函数优化器用AdamW学习率设在 2e-3 到 5e-3 之间batch_size 取 64。TextCNN 收敛很快一般 10 到 15 个 epoch 就达到最佳状态早停法设 patience3 就够用。4.2 BERT 微调与显存受限的应对方案TextCNN 能捕捉局部词组合但理解不了“虽然涨了但是量能不足感觉要回调”这种转折语义。BERT 可以因为它的注意力机制能同时关注全句所有词的关系。但 BERT 的代价是显存和训练时间。如果电脑有 6GB 以上显存可以做 BERT 微调。常见的配置是bert-base-chinese预训练模型、max_length64、batch_size8、learning_rate2e-5、训练 3 个 epoch。这里有几个参数值得说明max_length64是因为股吧评论平均只有二三十个字截断到 64 几乎不损失信息却能把显存占用砍掉一大截learning_rate2e-5是 BERT 微调的标准配置比这个大了预训练学到的知识会被破坏也就是常说的“灾难性遗忘”。显存不够时的另一个常用做法是梯度累积。如果你的显卡只跑得动 batch_size8可以设accumulation_steps4每 4 个小批次把梯度加在一起再更新一次等效于 batch_size32 的训练效果代价只是训练时间变长显存占用不变。还有一招是用冻结参数微调BERT 的前 8 层 Transformer 不更新梯度只训练后 4 层和分类头这样显存占用能降到三分之一左右缺点是效果会打点折扣。4.3 模型融合把规则、机器学习与深度学习组合成一个投票器单模型的结果总有不稳定的时候。我建议毕业设计做一个小型模型融合用规则得分、逻辑回归概率和 TextCNN 概率做加权平均。规则得分指用情绪词典给每条评论打分比如“涨停”加 2 分、“跌停”减 2 分。融合后的最终概率可以这样算final_prob 0.2 * rule_score_normalized 0.3 * lr_proba 0.5 * cnn_proba权重设定的逻辑TextCNN 效果通常最好给 0.5逻辑回归稳定给 0.3规则得分虽然粗糙但可以提供 lexicon 先验给 0.2。这个融合策略能在深度学习模型效果不佳的个别类别上“兜底”因为规则覆盖了“涨停”“跌停”这类硬性词汇而深度学习模型可能只学到了上下文没学到关键词本身。融合后拿测试集重新评估你会发现 F1 往往比任何一个单模型都稳定这在答辩时也是一个非常加分的综合设计。5. 避坑与排查做这个课题最容易翻车的六处细节这一章全是血泪经验。数据、模型、训练、报告四个环节都有坑而且都是那种“看似正常但结果不对”的隐藏坑。我按现象、原因、解决三个步骤来拆解。5.1 训练集F1很高测试集F1跌到谷底现象随机切分训练测试集训练集 F1 达到 0.93测试集 F1 只有 0.6 左右且多次重跑都这样。原因这是典型的标签泄漏。同一只股票、同一段时间内的评论话题高度相似随机切分会让模型在训练阶段看到同一话题的不同表述测试时遇到同一话题的其他表述实际上是在“背答案”。更隐蔽的是股吧里很多评论是重复发的或者同一用户短期内反复发类似内容随机切分会把内容近似的两条评论分别放进训练集和测试集。解决使用时间序列切分按评论发布时间排序前 70% 做训练后 30% 做测试或者按股票代码分组一组股票做训练、另一组做测试。这两种方式才符合“用历史数据预测未来情绪”的真实场景。5.2 爬虫只爬到第一页翻页全是重复内容现象抓了 500 条数据后发现里面有大量重复评论实际有效数据只有 100 多条。原因股吧列表页是动态加载的直接请求静态 HTML 拿到的只有第一页内容后续页面是通过接口异步返回的而且很多页面返回了首屏兜底数据。解决先打开开发者工具看网络请求找到真正返回评论列表的 HTTP 接口用带翻页参数的请求去拿数据。另一种常见做法是模拟浏览器渲染后再抽取完整 DOM。控制好请求频率比如每 3 到 5 秒一条避免给对方服务器造成压力。5.3 模型总是预测“中性”现象分类报告里“中性”类的召回率高达 0.95但“看多”和“看空”类的召回率只有 0.1。原因类别不均衡。股吧里中性评论占比可能超过 50%模型发现全预测中性就能拿高准确率于是走向了偷懒的捷径。还有一个原因是标注标准过松很多模棱两可的句子被判为中性导致正负类样本本身区分度就不够。解决先用class_weightbalanced做损失加权重试一波同时用classification_report检查每一类的精确率和召回率。如果效果还不够就在数据层面做采样对“看多”和“看空”类别做过采样或者对中性类别做欠采样。关键是最后一招——调整判别阈值不要用 0.5 作为中性和其他类别的分界用验证集画 PR 曲线找最佳阈值。5.4 长文本被截断后语义完全变了现象雪球上几百字的分析帖BERT 输入限制是 512 个 token截断后模型把“公司基本面没问题但短期股价偏贵”截成了“公司基本面没问题”预测结果从看空变成看多。原因固定max_length截断把转折关系截掉了。深度学习模型只看到前半句自然学不到完整语义。解决如果评论超过截断长度按标点符号切成语义片段做“分句级预测再聚合”——每个句子预测一个情绪取整条评论的最大情绪值或平均情绪值。这个方案既保留了长文本的完整语义又不需要增加显存占用。短评论场景下max_length64就够用这个坑主要来自雪球数据源的长文。5.5 自定义词典加了没用还是切错词现象词典里明明写了“跌停”分词后还是输出“跌”“停”两个词。原因jieba.load_userdict的调用时机不对。如果你在TfidfVectorizer的tokenizer参数里直接传入jieba.lcut而词典是后来才加载的分词器的全局状态在后期才生效特征提取时用的是旧状态。另外词典文件编码不是 UTF-8 也会静默失败。解决在程序入口最先加载词典再定义任何分词函数并用一行代码立刻验证print(jieba.lcut(跌停))。输出结果是[跌停]再继续往下走。这个问题很隐蔽因为代码不报错只有分词结果悄悄不对。5.6 报告里模型效果图很多但缺少业务结论现象报告写满了准确率曲线、损失曲线、混淆矩阵但答辩老师问“这个结果对炒股有什么参考价值”时答不上来。原因只做了模型开发没有做业务验证。机器学习和深度学习模型的评估停留在技术指标上没把预测结果放回真实的股市场景里检验。解决在报告里增加一个“情绪与行情对照实验”按天统计评论情绪均值画一条情绪曲线再叠加同期收盘价曲线直观展示“情绪领先价格”还是“情绪同步”。再做一个统计检验计算情绪得分与次日涨跌幅的相关系数哪怕只有 0.1 的相关性也比没有结论强。这部分内容在答辩时非常关键它把“模型能跑”提升到“模型有用”的层面。6. 从模型到交付报告结构、效果验证与答辩技巧模型做完只是第一步毕业设计交付的是“完整代码 报告”两者分量相当。代码组织上建议按功能拆分到独立目录config.py统一放路径和超参数data/放原始评论和处理后数据集models/放 TextCNN 和 BERT 微调脚本utils/放清洗、分词、评估函数notebooks/放探索性分析和可视化。这样的结构老师一眼就能看出工程素养。报告章节我建议按这个顺序组织报告章节核心内容验收标准研究背景与意义股市评论情绪对价格的影响动机说明“为什么值得做”数据采集与预处理数据源、清洗规则、标注策略可复现、有数据量统计机器学习基线TF-IDF 逻辑回归/XGBoost有混淆矩阵与F1对比深度学习模型TextCNN结构与BERT微调配置有训练曲线与参数说明融合与对比规则MLDL加权融合策略有消融实验数据情绪与行情对照情绪曲线与涨跌曲线叠加图有相关性分析结论验证方法上除了常规的测试集指标一定要做时间维度的外部验证用模型预测最近一个月的评论情绪和真实行情做对照。这一条最能证明模型的泛化能力因为它是“端到端”的模拟——用历史数据训练对未来做预测。答辩时准备一张“失败案例分析表”列出 3 到 5 条错误预测的典型评论分析模型为什么错。这个动作虽然不提升模型指标但能让老师看到你对问题边界的认知是清晰的。我当年做类似课题时把大量时间花在换模型结构上连续试了 LSTM、GRU、注意力机制最后发现数据清洗和标注一致性带来的回报远大于模型改动。如果重新做一遍我会把至少 40% 的时间留给数据链路模型只做 TextCNN 和 BERT 两个版本就足够了。这套流程跑通之后你拿到任何中文短文本分类需求都能快速迁移这才是这个毕业设计真正的价值所在。希望帮到你。本文还有配套的精品资源点击获取