如果你正在选毕业设计题目又对“大数据”方向感兴趣那么我要先给一个判断基于 Hadoop 的招聘数据分析及可视化系统最适合的不是那些已经精通大数据的同学而是想通过一个完整项目把 Python 爬虫、Hadoop、数据分析和 Vue 可视化串起来的人。为什么这么说因为这类系统真正的难点从来不在某一个技术上而在于整条数据链路是否闭环。网上很多同类项目爬虫数据抓回来了Vue 页面也画出来了但中间分析层只是拿 Excel 或者 SQL 糊弄过去Hadoop 变成了一个“只启动不使用”的花瓶。而一个能过审、能答辩、能写进简历的项目必须做到爬虫采集 → HDFS 存储 → Hive/MapReduce 统计分析 → Flask 接口 → Vue 可视化每一步都有数据流动每一步都能讲清楚设计原因。这篇文章会把这个项目从 0 到 1 拆开讲。涉及的核心内容包括Python 爬虫反爬策略、Hadoop 伪分布式环境搭建、Hive 建表与数据分析、MapReduce 离线索赔、KMP 算法在技能关键词提取中的应用、Flask 后端接口设计、Vue ECharts 可视化展示。内容偏长建议先收藏再慢慢看。1. 这套招聘分析系统到底在解决什么问题先想一个场景你是一名应届生或者转行者想了解“大数据开发工程师”这个岗位在北上广深杭的薪资分布、学历要求、经验门槛和技能热度。传统做法是打开招聘网站一页一页翻手动记录然后自己做汇总。当岗位数量只有几十条时这个方案勉强能用但当数据量达到几万条时人工统计就完全不现实了。这里有一个很重要的区分招聘数据不算典型的“海量数据”但它具备大数据的典型特征——非结构化、来源分散、字段不统一、需要清洗和聚合。比如同一个岗位有的公司写“Java开发”有的写“JAVA开发”有的写“高级Java工程师”薪资有“15-25K”“15k-25k”“面议”三种写法。这些数据如果用关系型数据库硬存也能存但后续做全文搜索、做文本分析、做技能标签提取时会很别扭。Hadoop 在这个项目里的角色不是“因为数据量很大所以必须用”而是**“因为要完整地走一遍大数据处理流程所以引入 Hadoop 生态”**。HDFS 负责存储爬虫采集的原始数据Hive 负责把杂乱的数据变成结构化表格MapReduce 负责跑离线统计任务。这样的设计既解决了数据存储和批量计算的工程问题又让项目有了足够的技术深度。所以这篇文章真正想解决的问题是如何用一套完整的大数据技术栈把“招聘网站数据采集 → 清洗 → 分析 → 可视化”做成一个可以演示、可以答辩、可以继续扩展的毕设项目。2. 系统总体架构与技术选型从架构上看这个项目采用经典的五层分层设计每一层各司其职层与层之间通过文件或接口通信。层次技术选型职责说明数据采集层Python Requests/Scrapy爬取招聘网站的岗位列表和详情页数据存储层Hadoop HDFS Hive存储原始数据建立分区表供分析使用数据分析层Hive SQL MapReduce统计城市、薪资、学历、技能等维度后端服务层Flask / FastAPI读取分析结果提供 JSON 接口前端展示层Vue 3 ECharts地图、柱状图、词云等可视化页面这个分层设计有一个很关键的思想每一层只依赖下一层不跨层访问。爬虫层产出的文件落到 HDFS 后就与爬虫逻辑无关分析层只读取 Hive 表不关心数据来自哪个网站前端只调用后端接口不接触 HDFS。这样设计的好处是任何一个模块出问题都可以单独替换或排查不会牵一发动全身。后端接口层我推荐用 Flask 或 FastAPI原因是 Python 和后端生态天然契合。如果你已经会 Java也可以用 Spring Boot但考虑到整套项目里 Python 占了爬虫和 MapReduce 两条线后端继续用 Python 可以降低语言切换成本。前端选择 Vue 3 EChartsVue 负责页面结构和交互ECharts 负责图表渲染。ECharts 的文档非常完善对毕设项目来说学习曲线适中做出来的效果也足够好看。3. 数据采集Python 爬虫的实现思路与反爬策略爬虫是整条数据链路的源头也是很多同学第一个卡住的地方。招聘网站普遍有比较严格的反爬措施包括 User-Agent 检测、访问频率限制、Cookie 校验、接口签名等。作为毕业设计抓取公开可见的数据用于学习和研究是没问题的但必须遵守 robots 协议控制采集频率不能对目标站点造成压力更不能抓取未公开的隐私数据。3.1 基本信息字段设计在写代码之前先确定要爬哪些字段。字段设计直接决定了后期 Hive 建表和分析维度提前想清楚可以省掉很多返工。# 文件路径recruitment/spiders/resume_fields.py # 岗位信息字段 FIELDS { position_name: 岗位名称, company_name: 公司名称, city: 工作城市, salary_low: 薪资下限(K), salary_high: 薪资上限(K), education: 学历要求, experience: 经验要求, skill_tags: 技能标签, description: 岗位描述, publish_date: 发布日期 }这里有两个容易踩的坑。第一个是薪资字段必须拆成 low 和 high 两个数值字段否则后期做平均值计算时“15-25K”这种字符串很难处理。第二个是description 字段不要截断因为后面做技能关键词提取时依赖的是完整的岗位描述文本。3.2 使用 Requests 请求详情页数据招聘网站一般有两种数据来源一是服务端渲染的 HTML 页面二是接口返回的 JSON 数据。后者更容易解析但通常需要携带特定的请求头。下面是一个使用 Requests 请求 JSON 接口的基础示例# 文件路径recruitment/spiders/request_demo.py import requests import time import random HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://www.example.com/, Accept: application/json, text/plain, */* } def fetch_job_list(page): url https://www.example.com/api/job/list params { city: 北京, page: page, pageSize: 50 } response requests.get(url, headersHEADERS, paramsparams, timeout10) if response.status_code 200: return response.json() return None if __name__ __main__: for page in range(1, 5): data fetch_job_list(page) if data: print(f第 {page} 页返回 {len(data.get(data, []))} 条数据) # 每两页休息 2-4 秒降低请求频率 time.sleep(random.uniform(2, 4))这段代码里真正重要的不是请求本身而是time.sleep(random.uniform(2, 4))。很多爬虫被封不是请求头写错了而是访问频率太高。对于毕业设计来说控制频率既是对目标网站负责也是保证爬虫能长时间稳定运行的实用技巧。3.3 使用多线程/协程提升采集效率Requests 是同步阻塞的逐个请求速度慢。更优的写法是用concurrent.futures线程池把多个详情页请求并行化配合频率控制可以在不触发反爬的前提下提升采集速度。# 文件路径recruitment/spiders/thread_crawler.py import requests import time import random from concurrent.futures import ThreadPoolExecutor, as_completed HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept: application/json } def fetch_detail(job_id): url fhttps://www.example.com/api/job/{job_id} response requests.get(url, headersHEADERS, timeout10) return response.json() job_ids list(range(1001, 1101)) results [] # 设置最大线程数为 4避免并发过高 with ThreadPoolExecutor(max_workers4) as executor: future_map {executor.submit(fetch_detail, job_id): job_id for job_id in job_ids} for future in as_completed(future_map): results.append(future.result()) # 每完成一个任务短暂停顿 time.sleep(random.uniform(0.5, 1.5)) print(f采集完成共获取 {len(results)} 条详情数据)线程数不要开太大4 到 8 个足够覆盖大多数场景。并发太高一方面容易被封 IP另一方面会给目标站点带来额外负载。如果后续想进一步优化可以引入 IP 代理池但作为毕业设计用随机延时配合合理的并发度已经足够了。3.4 数据清洗与落盘爬虫拿到原始数据后不能直接丢给 Hadoop需要先做一次基础清洗。这个步骤在写入 HDFS 之前完成可以大大简化后面的分析逻辑。清洗规则主要有薪资字段拆成salary_low和salary_high把“面议”置空。去掉岗位名称里的多余空格和特殊字符。将发布日期统一成YYYY-MM-DD格式。技能标签从描述文本中提取或者直接取接口返回的标签字段。清洗后的数据按 DataFrame 导出为 CSV/TSV 文件示例字段格式如下position_name company_name city salary_low salary_high education experience skill_tags description publish_date 大数据开发工程师 某互联网公司 北京 25 40 本科 3-5年 Hadoop,Spark,Flink 负责大数据平台架构... 2024-05-20导出时用\t做分隔符比 CSV 更安全因为岗位描述里可能包含英文逗号。这一点在后面 Hive 建表时也需要注意。4. 数据存储HDFS 与 Hive 建表4.1 为什么选择 HDFS 而不是普通文件系统HDFS 的核心设计思想是**“把大文件切分成块分布式存储”**。虽然招聘数据还没大到必须分布式存储的程度但作为项目HDFS 的存在有两点实际意义一是让数据从爬虫节点和计算节点解耦二是用 HDFS 的副本机制保障数据不丢失。伪分布式模式下默认副本数为 1如果是完全分布式集群可以设置为 3。上传清洗后的数据到 HDFS 的命令很直接# 在 HDFS 上创建目录 hdfs dfs -mkdir -p /recruitment/data # 上传清洗后的数据文件 hdfs dfs -put /data/job_info_20240520.tsv /recruitment/data/ # 查看上传结果 hdfs dfs -ls /recruitment/data/4.2 Hive 外部表设计Hive 的底层还是 HDFS但提供了 SQL 查询能力。这里选择创建外部表而不是内部表原因在于外部表删除时不会删除 HDFS 上的数据这对原始数据保护很有意义。即使不小心删表数据还在 HDFS 里可以随时重建。CREATE EXTERNAL TABLE IF NOT EXISTS recruitment_raw ( position_name STRING, company_name STRING, city STRING, salary_low INT, salary_high INT, education STRING, experience STRING, skill_tags STRING, description STRING, publish_date STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY \t STORED AS TEXTFILE LOCATION /recruitment/data TBLPROPERTIES (skip.header.line.count 1);FIELDS TERMINATED BY \t与前面清洗导出时的分隔符保持一致。TBLPROPERTIES (skip.header.line.count 1)用来跳过表头前提是导出的 TSV 文件包含标题行。建表完成后执行SELECT COUNT(*) FROM recruitment_raw;能查到数据条数说明整条链路已经打通。这里要提醒一个容易踩坑的点Hive 外部表的 Location 目录里如果存在多个文件Hive 会自动读取目录下所有文件。所以不要把临时文件丢到同一个目录里否则查询结果会莫名其妙多出脏数据。5. 数据分析Hive SQL 与 MapReduce 统计数据进入 Hive 后就可以开始做分析。分析维度不需要太多但要覆盖完整建议至少包含以下四个核心维度城市岗位数量与薪资均值、学历要求分布、经验要求分布、技能标签热度。每个维度最后都能对应到前端的一个图表整个项目才显得完整。5.1 城市薪资统计分析先看一个典型的统计 SQL。用城市分组统计岗位数量和薪资平均值。这里要注意薪资上下限字段在清洗时已经拆成数值可以直接计算。SELECT city, COUNT(*) AS job_count, ROUND(AVG((salary_low salary_high) / 2), 2) AS avg_salary FROM recruitment_raw WHERE salary_low IS NOT NULL AND salary_high IS NOT NULL GROUP BY city ORDER BY job_count DESC;这条 SQL 的分析结果可以直接显示为柱状图或者地图。实际项目中可以把统计结果写入一张单独的 Hive 结果表这样 Flask 后端只查询结果表不需要每次实时跑全量统计。5.2 技能标签热度统计技能标签在清洗时存在skill_tags字段里多个标签用逗号分隔。直接对skill_tags做 GROUP BY需要先拆分字段。这里推荐LATERAL VIEWexplode函数SELECT skill, COUNT(*) AS skill_count FROM recruitment_raw LATERAL VIEW explode(split(skill_tags, ,)) tag_table AS skill WHERE skill_tags IS NOT NULL GROUP BY skill ORDER BY skill_count DESC LIMIT 30;explode的作用是把一行数据展开成多行split(skill_tags, ,)先把字符串按逗号拆成数组然后展开成每个技能一行。这是 Hive 分析里很常用的操作面试时也经常被问到。5.3 MapReduce 统计技能关键词的参与性实现虽然 Hive SQL 已经能完成大部分统计但作为 Hadoop 项目MapReduce 也是评委会关注的亮点。这里用 Hadoop Streaming 方式写一个简单的 Python MapReduce 程序用来统计岗位描述里出现的高频技术词。这种方式不需要写 Java却能体现对 Hadoop 计算模型的理解。# 文件路径recruitment/mapreduce/mapper.py #!/usr/bin/env python3 import sys import re STOPWORDS {的, 了, 和, 与, 或, 等, 在, 对} for line in sys.stdin: line line.strip() # 提取中英文字符过滤数字和标点 words re.findall(r[\u4e00-\u9fa5a-zA-Z], line) for word in words: if word not in STOPWORDS and len(word) 1: print(f{word}\t1)# 文件路径recruitment/mapreduce/reducer.py #!/usr/bin/env python3 import sys current_word None current_count 0 for line in sys.stdin: word, count line.strip().split(\t, 1) try: count int(count) except ValueError: continue if current_word word: current_count count else: if current_word: print(f{current_word}\t{current_count}) current_word word current_count count if current_word word: print(f{current_word}\t{current_count})运行命令如下hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \ -files /data/mapper.py,/data/reducer.py \ -input /recruitment/data \ -output /recruitment/mapreduce_output \ -mapper python3 mapper.py \ -reducer python3 reducer.pyMapReduce 的运行结果会写到/recruitment/mapreduce_output/part-00000文件里每条输出是“技术词 频次”。相比 Hive SQLMapReduce 能让你真正理解“分而治之”的计算思想Mapper 负责把大任务拆分成小任务并行处理Reducer 负责把中间结果合并汇总。这个理解写到论文和答辩稿里是明显的加分项。6. 算法应用KMP 在技能关键词匹配中的应用很多同学会问毕设里必须有算法吗答案是不一定但有一个恰当的算法应用能明显提高项目的区分度。这个项目里我推荐把 KMP 算法用在“岗位描述文本中的技能关键词匹配”上。6.1 为什么需要KMP当你不满足于接口直接返回的skill_tags字段想从完整的description里自主匹配技能关键词时就会遇到字符串匹配问题。最简单的写法是双重循环暴力匹配但效率较低尤其是在文本量达到几万条、关键词表有几百个的时候。KMP 算法的价值在于它通过提前计算模式串的 next 数组在匹配失败时让主串指针不回溯把时间复杂度从 O(n*m) 降到了 O(nm)。6.2 next 数组的计算过程这里以热搜中最常见的模式串abacaba为例演示 next 数组的构造。定义next[i]表示模式串前 i 个字符组成的子串中最长相等前后缀的长度并规定next[0] -1。i子串最长相等前后缀next[i]0无无-11a无02ab无03abaa14abac无05abacaa16abacabab27abacabaaba3比较关键的是 i6 时子串是abacab最长相等前后缀是ab所以 next[6]2i7 时子串是abacaba最长相等前后缀是aba所以 next[7]3。计算 next 数组的规律是每次比较pattern[i]和pattern[j]如果相等则 next[i1] j1如果不相等则 j 回退到 next[j]直到相等或 j-1。6.3 Python 实现def build_next(pattern: str): 构建 KMP 的 next 数组 n len(pattern) next_arr [-1] * n i, j 0, -1 while i n - 1: if j -1 or pattern[i] pattern[j]: i 1 j 1 next_arr[i] j else: j next_arr[j] return next_arr def kmp_search(text: str, pattern: str) - int: 在 text 中查找 pattern返回首次出现的位置找不到返回 -1 next_arr build_next(pattern) i j 0 t_len, p_len len(text), len(pattern) while i t_len and j p_len: if j -1 or text[i] pattern[j]: i 1 j 1 else: j next_arr[j] if j p_len: return i - j return -1 if __name__ __main__: text 负责基于Hadoop和Flink的大数据平台开发 patterns [Hadoop, Flink, Spark, Kafka] for p in patterns: pos kmp_search(text, p) print(f关键词 {p}: {匹配成功位置 str(pos) if pos ! -1 else 未匹配})这段代码运行后Hadoop和Flink会匹配成功Spark和Kafka显示未匹配。在真实项目中你可以把每个岗位的description与技能关键词表逐条匹配匹配成功就在该技能上累加一次最后汇总得到技能热度排行。需要说明的是KMP 算法在毕设项目里的作用更多是展示你对经典算法的理解和落地能力而不是说搜索引擎级的匹配必须用它。实际的大数据场景中分词和向量化检索是更主流的方案但 KMP 作为一篇能完整推导、能手撕代码的算法在答辩时比泛泛而谈“用了深度学习”要扎实得多。7. 后端接口与 Vue 可视化7.1 Flask 后端接口分析结果计算完后需要提供给前端展示。这里用 Flask 写一组轻量接口读取 Hive 统计结果表或 HDFS 上的分析输出文件返回 JSON 数据。# 文件路径recruitment/backend/app.py from flask import Flask, jsonify from flask_cors import CORS import sqlite3 import os app Flask(__name__) CORS(app) DB_PATH os.path.join(os.path.dirname(__file__), analysis.db) def query_db(sql): conn sqlite3.connect(DB_PATH) cursor conn.execute(sql) rows cursor.fetchall() columns [desc[0] for desc in cursor.description] conn.close() return [dict(zip(columns, row)) for row in rows] app.route(/api/city_job, methods[GET]) def city_job(): 城市岗位量与平均薪资 data query_db( SELECT city, job_count, avg_salary FROM city_stats ORDER BY job_count DESC ) return jsonify({code: 0, data: data}) app.route(/api/skill_rank, methods[GET]) def skill_rank(): 技能热度 Top 30 data query_db( SELECT skill, skill_count FROM skill_stats ORDER BY skill_count DESC LIMIT 30 ) return jsonify({code: 0, data: data}) app.route(/api/education_dist, methods[GET]) def education_dist(): 学历要求分布 data query_db( SELECT education, COUNT(*) AS cnt FROM recruitment_raw GROUP BY education ) return jsonify({code: 0, data: data}) if __name__ __main__: app.run(host0.0.0.0, port8000, debugTrue)这里我用 SQLite 作为中间存储用它来模拟从 Hive 分析结果导入的局部数据。更完整的设计是先把 Hive 统计结果INSERT OVERWRITE到一张结果表后端通过 Hive JDBC 或直接读结果文件访问。对于纯毕设演示SQLite 或直接读 CSV/JSON 文件最简单也最不容易出错。7.2 Vue 3 ECharts 可视化页面前端部分用 Vue 3 ECharts。ECharts 负责渲染图表Vue 负责组件化开发和数据绑定。下面是一个城市薪资分布柱状图的组件示例!-- 文件路径recruitment/frontend/src/components/CitySalaryChart.vue -- template div refchartRef classchart-container/div /template script setup import { ref, onMounted, onBeforeUnmount } from vue; import * as echarts from echarts; const chartRef ref(null); let chartInstance null; onMounted(async () { chartInstance echarts.init(chartRef.value); const res await fetch(http://localhost:8000/api/city_job); const json await res.json(); const data json.data; chartInstance.setOption({ title: { text: 主要城市招聘岗位数与平均薪资 }, tooltip: { trigger: axis }, legend: { data: [岗位数, 平均薪资] }, xAxis: { type: category, data: data.map(item item.city) }, yAxis: [ { type: value, name: 岗位数 }, { type: value, name: 平均薪资(K) } ], series: [ { name: 岗位数, type: bar, data: data.map(item item.job_count) }, { name: 平均薪资, type: line, yAxisIndex: 1, data: data.map(item item.avg_salary) } ] }); }); onBeforeUnmount(() { if (chartInstance) { chartInstance.dispose(); } }); /script style scoped .chart-container { width: 100%; height: 420px; } /style在图表中柱状图展示岗位数折线图展示平均薪资用双 Y 轴解决两个指标量级不同的问题。这里有一个细节给chartRef.value设置明确高度很重要如果容器高度为 0ECharts 初始化后图表会不显示。地图展示可以用 ECharts 的中国地图把城市经纬度映射到地图上用颜色深浅表示岗位数量多少。这个组件做出来在答辩演示时效果会很不错。8. 环境搭建Hadoop 伪分布式与项目启动8.1 前置环境运行这套项目建议准备以下环境。版本号建议以当下官方稳定版为准不要盲目追新JDK 1.8 或 11Hadoop 3.x 必须跑在 JDK 8 以上。Hadoop 3.x配置为伪分布式模式。Python 3.8 及以上安装 requests、pandas、flask、flask-cors。Node.js 14 及以上Vue CLI 或者 Vite 工具链。Hive 3.x可选但推荐安装配合 HDFS 使用。8.2 Hadoop 伪分布式配置伪分布式模式就是在一个节点上同时运行 NameNode、DataNode 和 ResourceManager。核心配置在$HADOOP_HOME/etc/hadoop/目录下。core-site.xml设置默认文件系统地址configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property /configurationhdfs-site.xml设置副本数和 NameNode 数据目录configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name valuefile:///usr/local/hadoop/tmp/name/value /property property namedfs.datanode.data.dir/name valuefile:///usr/local/hadoop/tmp/data/value /property /configuration配置完成后首次启动需要格式化 NameNode这个命令只在初始化时执行一次重复执行会清空数据hdfs namenode -format然后启动 HDFS 和 YARNstart-dfs.sh start-yarn.sh # 验证进程 jpsjps命令会列出 Java 进程。如果看到NameNode、DataNode、ResourceManager、NodeManager说明启动成功。8.3 项目启动顺序完整系统的启动顺序建议固定下来方便反复演示启动 Hadoopstart-dfs.sh和start-yarn.sh。将清洗后的数据上传到 HDFS。启动 Hive执行建表和统计 SQL导出结果。启动 Flask 后端python app.py。启动 Vue 前端npm run serve浏览器打开http://localhost:8080。每一步都可以独立验证。比如第 2 步用hdfs dfs -ls /recruitment/data检查文件第 4 步用浏览器访问http://localhost:8000/api/city_job看是否有 JSON 返回。9. 常见问题与排查思路问题现象可能原因排查方式解决方案Hadoop 启动时 NameNode 无法启动未格式化或格式化目录冲突查看logs/hadoop-*-namenode.log删除临时目录后重新格式化DataNode 启动后自动退出name 目录和 data 目录配置不在同一层级检查dfs.datanode.data.dir统一目录结构重置数据目录Hive 查询结果为 0上传文件编码或分隔符不一致SELECT * FROM recruitment_raw LIMIT 5查看原始数据用file命令检查文件编码确认分隔符为 tab中文在 Hive 查询中乱码文件编码不是 UTF-8 或终端编码问题用cat -A查看文件特殊字符统一 UTF-8 编码检查终端字符集爬虫频繁被限制访问请求频率过高或请求头不完整查看响应状态码和返回 Body降低请求速度设置随机延迟更换 User-AgentFlask 接口返回跨域错误前端和后端不同源浏览器开发者工具查看 CORS 报错安装 flask-cors添加CORS(app)ECharts 图表不显示容器高度为 0 或图表初始化失败打开浏览器控制台查看报错给容器设置固定高度确认echarts.init执行10. 适合的应用场景与后续优化方向最后说说这套系统的定位和进阶方向。如果你是毕业设计选型这套系统的优势在于技术栈覆盖广、层次分明、可讲解内容多。从爬虫到存储从离线计算到算法从前端可视化到接口设计每一个模块都能单独拿出来写一页论文也很容易在答辩时展开讲。对评阅老师来说一个能说清楚“为什么用 HDFS 存数据”“为什么用 Hive 做分析”“KMP 算法怎么加速匹配”的学生已经超出了大部分同类项目的完成度。但也要清醒一点这套系统在真实生产环境里还有很多不足。比如数据量没有真正达到必须上 Hadoop 的量级时伪分布式更多是演示价值爬虫采集的时效性、接口层的高并发能力、前端图表的交互深度都还停留在课程设计范畴。如果后续想往简历项目或实习项目方向深挖有几个明确的优化方向把 MapReduce 作业替换成 Spark SQL在同样数据量下Spark 的实时性和编程体验明显更好。引入 Elasticsearch为岗位描述建立索引实现搜索框输入关键词快速检索职位。增加推荐模块。根据用户最近浏览的岗位计算技能相似度推荐同类岗位这里可以用到余弦相似度或简单的协同过滤算法。把 HDFS 伪分布式升级为 3 节点完全分布式并引入 ZooKeeper 做 NameNode 高可用。这样整套系统的“分布式”属性更经得起追问。项目的价值不在于把每项技术用到极致而在于让你通过一个完整场景亲手走完数据从采集到展示的全过程。把这条链路跑通把关键细节讲清楚这个毕业设计就成功了。建议你收藏这篇文章搭建环境时对照着检查每一步剩下的就交给动手实践了。