简介这是一套面向计算机专业毕业设计或课程设计的完整实战项目以网易新闻为数据源整合Scrapy爬虫、Python数据清洗与统计、VueECharts大屏展示三大环节适合想快速搭建全链路新闻分析系统的学习者参考。资源共82个文件压缩包约6.06MB其中43个py为爬虫与后端分析代码1个sql为MySQL建表脚本vue/js/css/scss共同构成前端大屏界面另含bat一键安装和启动脚本、config.ini配置说明及高清演示视频便于本地还原项目效果。后端实现热度TOP10新闻、日发布量折线图、频道占比环形图、关键词云等多维度统计前端支持图表联动展示整体结构清晰、开箱即用。已有41人学习。配套数据库文档与系统说明文本可帮助理解表结构与分析逻辑适合答辩展示或二次开发。1. 项目概述与核心价值拆解像很多做毕业设计的人一样我最初面对这个题目时也有点摸不着头脑——网易新闻爬虫算是个经典方向数据分析也不难可视化大屏听着高级但心里没底。等到真正把爬虫、MySQL、前端ECharts大屏串成一条完整的流水线才意识到这个选题的精妙之处它把数据采集、清洗、存储、分析、呈现全链路都覆盖了技术栈非常完整既有深度又有广度答辩时也特别容易讲出亮点。这个项目的核心链路是Python爬虫采集网易新闻公开数据 - 数据清洗与结构化 - 存入MySQL数据库 - Pandas/PySpark做统计分析 - Flask后端提供数据接口 - ECharts大屏可视化展示。整个体系下来你能向评委完整解释“数据从哪里来、怎么存、怎么算、怎么用”这就是毕业设计最需要的逻辑闭环。适合参考这个项目的人群很明确计算机、大数据、信息管理相关专业的本科生想在简历里写一个“全栈数据项目”的求职者以及对爬虫和可视化感兴趣、想练手完整项目的Python初学者。整个项目分为三层来看最清晰——数据采集层、数据存储与分析层、可视化展示层。下面我按这个分层把每一个环节的实操细节都拆开讲包括我踩过的坑和最终验证可行的方案。提示这个项目涉及的爬虫技术仅用于学习研究公开数据。爬取任何网站前务必检查对方的robots协议和用户条款控制请求频率只做个人学习用途。2. 技术选型与整体架构设计2.1 为什么选Python Requests BeautifulSoup这套组合爬虫技术栈看起来选择很多Scrapy框架也很流行但在这个项目里我最终选了Python Requests BeautifulSoup而不是Scrapy原因有三。第一网易新闻的页面结构相对规整不是那种需要分布式爬虫才能搞定的海量数据场景。我们需要的样本量级在几千到几万条即可支撑后续分析和可视化用Requests就能轻松实现引入Scrapy反而增加了框架学习的负担写起来更绕。第二毕业设计的核心得分点其实在“分析”和“可视化”上爬虫只是数据入口。用轻量级的Requests BeautifulSoup代码逻辑一目了然答辩时讲解成本最低老师追问实现细节也完全不虚。第三Requests库在模拟HTTP请求时非常直观Session会话管理、Headers伪装、超时控制都能轻松搞定。我手动构建请求头伪装成浏览器访问实测下来网易新闻的普通新闻列表接口对爬虫并不算特别敏感控制好频率完全能拿到数据。存储层选MySQL而非MongoDB或SQLite理由也很实际。MySQL是面试和毕设中使用最广的数据库表结构设计的考察点是很多评委关注的地方而且后续数据分析和可视化如果需要SQL查询MySQL的生态最成熟Pandas也提供read_sql可以直接对接。2.2 系统架构数据如何从网页变成大屏上的图表我画的架构分四层每一层的职责都很纯粹接口层之间用标准的数据格式通信整体思路在论文里也好写。数据采集层Python脚本发送HTTP请求到网易新闻的分类列表页拿到HTML后解析页面中的新闻标题、来源、发布时间、评论数、链接、分类等字段。采集到原始数据后生成结构化DataFrame。数据存储层通过pymysql或SQLAlchemy把清洗后的数据写入MySQL。核心表设计一张news_info表字段包括id、title、source、category、publish_time、comment_count、url、content_hash。其中content_hash设唯一索引用于去重。数据分析层从MySQL中读取全量数据到Pandas做统计分析——分类分布统计、发布时间规律分析、评论热度排行、高频关键词提取等。如果数据量超过10万条也可以引入Spark做分布式统计但本项目的量级用Pandas完全够用。可视化展示层Flask启动一个Web服务提供JSON数据接口前端页面用ECharts绘制图表布局成一块大屏展示面板。大屏支持自动刷新可视化图表包括柱状图、饼图、折线图、词云、地图等。这套架构的好处是每一层都可以单独测试出问题了很容易定位。很多同学喜欢把所有逻辑都塞在一个脚本里最后数据、展示不分家改一个小功能就牵一发动全身这是我在指导类似项目时见过最多的反面案例。3. 环境准备与数据采集层实战3.1 搭建开发环境与MySQL准备开发环境方面我用的是Python 3.9 PyCharm需要安装的第三方库不多requests、beautifulsoup4、pandas、pymysql、flask、pyecharts或直接用ECharts前端库。可以用以下命令一键安装这些依赖pip install requests beautifulsoup4 pandas pymysql flaskMySQL的安装这里多说一句网上教程五花八门但要注意的是版本选择和认证方式。我最初装的是MySQL 8.0后来连接Python时遇到了firedac phys mysql client does not support authentication protocol requested这类报错这其实是客户端工具与MySQL 8.0默认的caching_sha2_password认证插件不兼容导致的。解决方法是创建用户时指定mysql_native_passwordCREATE USER spiderlocalhost IDENTIFIED WITH mysql_native_password BY 123456; GRANT ALL PRIVILEGES ON news_db.* TO spiderlocalhost; FLUSH PRIVILEGES;3.2 网易新闻页面结构分析与字段提取开始写爬虫之前我花了整整半天研究网易新闻的页面结构。很多新手上来就写代码结果选择器、解析路径全是猜的一运行就乱七八糟然后开始怀疑人生。正确的做法是先分析页面。网易新闻的分类页URL格式如下这里以要闻、科技、体育几个频道为例https://www.163.com/news/ https://tech.163.com/ https://sports.163.com/在浏览器中打开一个分类页右键检查元素可以看到每条新闻在HTML中都对应一个div[classnews_title]或h3 a的结构。用Requests获取页面源码后通过BeautifulSoup的find_all方法定位这些节点依次提取a标签的href属性和title文本。核心提取代码如下import requests from bs4 import BeautifulSoup headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://www.163.com/ } def fetch_news_list(category_url): resp requests.get(category_url, headersheaders, timeout10) resp.encoding utf-8 soup BeautifulSoup(resp.text, html.parser) news_items [] for item in soup.select(div.news_title a, h3 a): title item.get_text(stripTrue) link item.get(href) if title and link and link.startswith(http): news_items.append({title: title, url: link}) return news_items这里必须注意两点。一是编码问题网易新闻的页面是UTF-8编码但有些历史页面会携带GBK编码的元信息直接解析会乱码。稳妥做法是先用requests的apparent_encoding检测再手动指定。二是列表页翻页逻辑网易新闻很多栏目页是动态加载的直接看HTML源码可能只有第一页内容。我当时用了一个讨巧的办法切换页面的URL参数或者直接请求栏目页的下一页链接形如https://tech.163.com/special/gd2016_4/这种专题列表页。3.3 反爬应对与请求频率控制实战我之前看过很多人吐槽“网易新闻爬虫被403了”实际上大部分情况是自己请求频率太高或者Header伪装得不像真人。我在这个项目里总结了一套亲测稳定的策略。第一请求头必须伪装到位。除了User-Agent之外Referer和Accept-Language也要加上。网易新闻对Referer判断比较敏感如果Referer为空或者异常很容易触发风控。第二请求间隔设置随机延时。我的做法是每次请求之间sleep一个2到4秒的随机时间同时设置重试机制请求失败时最多重试3次退避策略是1秒、3秒、5秒递增import time import random def fetch_with_retry(url, max_retries3): for attempt in range(max_retries): try: resp requests.get(url, headersheaders, timeout10) if resp.status_code 200: return resp except requests.RequestException as e: print(f请求失败第{attempt1}次重试: {e}) time.sleep(random.uniform(2, 4) * (attempt 1)) return None第三要采集就集中采集不要没事反复跑。我在项目期间基本上是每天早上跑一次全量脚本把前一天更新的新闻抓下来入库这样既不影响别人服务器也能保证数据长期积累后期做大数据量分析时更有底气。第四为了避免程序中断导致数据丢失我在采集脚本里加了断点续爬的功能。用一条offset记录当前爬取到的页码每次启动时先查询数据库里已有的数据量从断点继续。这个细节虽然小但答辩时说出来非常加分体现你考虑过实际工程问题。注意爬虫请求的目标仅限公开可见的新闻内容绝不涉及用户个人信息或非公开接口。如果目标网站对请求频率有明显限制一定要降低并发做一个文明的爬虫使用者也保护自己。4. 数据清洗与MySQL数据库设计4.1 数据清洗的常见脏数据场景采集到的原始数据远谈不上干净我遇到的主要脏数据有这几类标题包含转义字符比如quot;、发布时间格式不统一有的是2024-01-15 10:30:00有的只有01-15 10:30、来源字段为空、评论数为0但实际有评论、重复数据同一个新闻出现在不同栏目列表页。清洗策略分四步。第一步统一时间格式。用Pandas的to_datetime方法对publish_time做格式化解析解析不了的置为NaT然后填充一个默认时间。第二步去除HTML标签。有些新闻标题里会残留span这类标签用正则或BeautifulSoup的get_text清理。import re def clean_title(raw_title): text re.sub(r[^], , raw_title) text text.replace(quot;, ).replace(amp;, ).strip() return text第三步去重。这一步我放在数据库层面做给content_hash字段建唯一索引写入时用INSERT IGNORE语法MySQL会自动跳过冲突数据效率非常高。content_hash的计算方式是对url取MD5import hashlib def get_hash(url): return hashlib.md5(url.encode(utf-8)).hexdigest()第四步异常值处理。评论数出现负数直接归零来源为空统一填充为“网易新闻”分类字段如果与预设分类表不匹配则归入“其他”。4.2 建表语句与索引设计数据库名我定义为news_db核心表news_info的建表语句如下CREATE TABLE news_info ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255) NOT NULL COMMENT 新闻标题, source VARCHAR(100) DEFAULT 网易新闻 COMMENT 来源, category VARCHAR(50) NOT NULL COMMENT 所属分类, url VARCHAR(500) NOT NULL COMMENT 原文链接, publish_time DATETIME NOT NULL COMMENT 发布时间, comment_count INT DEFAULT 0 COMMENT 评论数, content_hash CHAR(32) NOT NULL UNIQUE COMMENT URL哈希用于去重, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT 入库时间, INDEX idx_category (category), INDEX idx_publish_time (publish_time), INDEX idx_comment_count (comment_count) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4 COMMENT网易新闻采集数据表;这里的设计要点有三个。一是字符集必须用utf8mb4不能用utf8否则存储emoji或者特殊字符新闻标题里偶尔会有会直接报错。二是索引要配合查询场景。后续分析经常按分类分组、按时间排序、按评论数排序所以这三个字段都建了索引。三是url字段长度给了500防止有些链接太长导致写入失败。4.3 写入MySQL的注意事项写入MySQL我用的是pymysql executemany批量插入一次性插入500条性能比单条插入快一个数量级。为了提高效率先把DataFrame转成list of tuples再批量执行import pymysql def save_to_mysql(df): conn pymysql.connect(hostlocalhost, userspider, password123456, databasenews_db, charsetutf8mb4) cursor conn.cursor() data [tuple(row) for row in df[[title, source, category, url, publish_time, comment_count, content_hash]].values] sql INSERT IGNORE INTO news_info (title, source, category, url, publish_time, comment_count, content_hash) VALUES (%s, %s, %s, %s, %s, %s, %s) for i in range(0, len(data), 500): cursor.executemany(sql, data[i:i500]) conn.commit() cursor.close() conn.close()这段代码里有几个细节值得注意。executemany虽然快但数据量很大的时候一次性全传可能超出MySQL的max_allowed_packet限制所以分批处理是必要的。另外publish_time字段如果直接从Pandas的Timestamp传进去pymysql可能报错稳妥的做法是先转成字符串格式str(row[publish_time])。5. 数据分析维度与可视化大屏实现5.1 分析哪些维度才有价值数据入库存了一万多条之后我开始思考一个问题什么样的分析结果放到大屏上才有说服力我最终敲定了四个分析维度分别对应不同的问题视角。分类分布分析——统计每个新闻分类的数量占比。用Pandas的groupby count即可实现结果用饼图展示。这里可以直观看出网易新闻哪些频道内容产出最多内容生态的侧重点是什么。发布时间规律分析——按小时统计新闻发布的数量观察新闻发布的“高峰时段”。这是个很有意思的分析通常能发现上午8点到10点和晚间18点到22点发布量明显上升这符合用户阅读习惯和编辑发稿节奏。评论热度排行榜——按评论数排序找出评论最多的Top 10新闻。这些往往是社会热点或争议话题能反映用户关注焦点。评论数也可以按分类求均值对比哪些分类的平均讨论度更高。关键词共现分析——对标题做分词用jieba后提取高频词统计Top 30关键词的词频。这比简单的分类统计更有深度能够看出当前阶段的热点主题词有哪些。这些分析全部用Pandas处理核心代码不复杂比如分类分布import pandas as pd df pd.read_sql(SELECT category, COUNT(*) AS cnt FROM news_info GROUP BY category, conn) df df.sort_values(cnt, ascendingFalse)5.2 Flask后端接口设计大屏前端的核心思路是后端只提供JSON数据接口前端用Ajax获取数据后用ECharts渲染。我用了Flask起一个轻量服务接口分为/api/category_dist、/api/time_analysis、/api/hot_news、/api/keywords四个。每个接口的逻辑一致从MySQL查询对应统计数据转成JSON返回。以热词接口为例from flask import Flask, jsonify import jieba from collections import Counter app Flask(__name__) app.route(/api/keywords) def keywords(): titles pd.read_sql(SELECT title FROM news_info, conn)[title].tolist() words [] for t in titles: words.extend([w for w in jieba.cut(t) if len(w) 2 and w not in stopwords]) counter Counter(words).most_common(30) return jsonify([{name: w, value: c} for w, c in counter])接口写好后用Postman测试一遍确认返回的数据结构符合前端预期再开始做前端页面前后端分离的开发模式下这个习惯特别重要。5.3 可视化大屏布局与ECharts实现大屏页面我建议用16:9的宽屏布局视觉上分成几个区域顶部是项目标题和实时时间左侧放分类分布饼图和热词词云中间放评论热度柱状图横向条形图右侧放发布时间折线图底部可以放一个新闻列表滚动条或者热点地图。ECharts的配置这里说一个最容易踩的坑数据格式的映射。比如饼图的data数组要求的是[{name: 科技, value: 123}]如果后端返回的是[{category: 科技, cnt: 123}]前端就需要在加载数据时做一次map转换。我当时因为这个问题调试了很久最好是在Flask接口里直接造好ECharts需要的格式前端拿到直接用。页面自动刷新功能我用的是setInterval定时器每60秒请求一次新数据并更新图表setInterval(() { fetch(/api/category_dist).then(res res.json()).then(data { categoryChart.setOption({ series: [{ data: data }] }); }); }, 60000);大屏的美化方面背景用深蓝色渐变科技风视觉上非常像数据指挥中心图表配色统一用亮青、明黄、橙红等颜色标题用大号加粗字体。网上有很多现成的大屏背景预设图可以直接找一张合适的做底图再把ECharts图表定位在对应区域效果提升非常明显。6. 常见问题与调试经验速查6.1 爬虫与数据库问题汇总问题现象可能原因解决方案爬虫运行结束只显示Process finished with exit code 0但无数据没有加print输出或列表页选择器写错匹配不到节点先打印响应状态码和HTML片段确认选择器正确MySQL连接报Authentication plugin错误MySQL 8.0默认认证插件是caching_sha2_password创建用户时指定mysql_native_password插入数据库中文乱码数据库字符集不是utf8mb4建库时指定CHARACTER SET utf8mb4连接时加charset参数请求返回403请求头伪装不够或频率过高补充完整Headers增加随机延迟降低并发时间字段入库报错Pandas Timestamp类型与MySQL DATETIME不兼容转成字符串str(time)格式为%Y-%m-%d %H:%M:%S前端图表显示空白接口返回数据格式与ECharts期待格式不一致在Console打印接口返回值手动map成ECharts需要的结构采集到的数据量远少于预期部分分类页是动态加载直接解析HTML拿不到数据改用接口URL拼接或Selenium渲染抓取本项目未用到6.2 三个让我印象最深的调试经历第一个是ECharts图例不显示中文。仔细排查发现是后端返回的JSON被Flask的jsonify默认做了ASCII转义中文变成了\u79d1\u6280格式。解决方法是给app配置app.config[JSON_AS_ASCII] False或者在返回时指定ensure_asciiFalse。这是个非常容易忽略的小坑但直接影响大屏展示效果。第二个是爬虫中断导致数据重复。最初没有加content_hash唯一索引时程序跑到一半报错重启后又重复爬了一遍库里出现了大量重复数据。后来加了唯一索引INSERT IGNORE才彻底解决。这里也提醒大家数据入库去重的方案一定要在做爬虫之前就想好不要等到数据量大了再补救。第三个是Flask接口偶尔慢得离谱。排查后发现是每次请求都重新从MySQL读取全量数据画关键词数据量大了之后确实很慢。后来我改成在Flask启动时预加载数据到内存设置一个定时器每10分钟重新加载一次接口响应瞬间从2秒降到50毫秒。这算是实际项目中才会遇到的性能优化问题写了这个经验后答辩时老师还特意追问了方案细节。7. 项目延展与个人实操体会整个项目做完之后我最大的感受是这个选题看起来平淡无奇但一旦把数据从采集到展示的链路完整走通你的收获远比想象的多。爬虫看似只是发请求、解析HTML实际上你会掌握Headers伪装、频率控制、断点续爬这些工程技巧数据分析虽然只是Pandas的几个api但你真的去理解为什么要这样清洗、怎样聚合才能回答业务问题时思维模式会完全不同至于可视化大屏它逼着你从前端页面、后端接口、数据格式三个层面去思考如何协作。如果时间充裕我建议你在基础版本上做两个方向的扩展。一是数据规模扩展把采集范围从网易新闻扩展到其他新闻资讯类公开网站或者把历史数据积累到10万条以上然后引入Spark做离线分析项目含金量会上一个台阶。二是分析深度扩展加入情感分析——对评论内容做正负面情感判断再把情感分布叠加到新闻分类热度上形成一个“热度口碑”的二维分析模型这种结合了NLP的选题在毕业设计里非常受欢迎。最后分享一个实操中的小技巧开发过程中给自己写一个collector.log在爬虫、入库、分析的每个关键节点都打上日志标明时间点和数据量。调试的时候能省下大量时间不说答辩时把日志一展示老师就知道你是认真跑了全流程的而不是只贴了一段理想化的代码。做这种全链路项目最重要的不是某个环节有多华丽而是每个环节都经得起追问、运行得稳定可靠。本文还有配套的精品资源点击获取