Python爬虫实战：爬取BOSS直聘岗位数据，按薪资排序+去重，附可视化分析

⚠️ 核心风险与合规声明必读在开始技术讨论前必须明确BOSS直聘是国内反爬风控最严格的平台之一。其采用了包括设备指纹、JS加密参数、行为验证、IP黑名单在内的多重防护体系。未经授权批量爬取岗位数据涉嫌违反《反不正当竞争法》及平台用户协议已有相关司法判例。本文仅作为“Web数据采集与数据分析”的教学案例演示数据处理逻辑与可视化方法。实际求职分析请优先使用BOSS直聘App/网页端自带的筛选与排序功能官方开放的企业招聘API需企业资质申请第三方合规数据服务商如脉脉、猎聘公开报告以下代码为脱敏后的教学示例不包含任何绕过反爬的破解逻辑请勿直接用于生产环境。一、 工程化数据采集架构设计即使在教学场景中我们也应遵循规范的采集流程而非编写“一把梭”脚本合规API/RSS教学模拟数据关键词城市配置数据源选择结构化JSON本地Mock文件ETL清洗管道薪资标准化解析多维度去重Pandas DataFrame统计分析ECharts/Matplotlib可视化⚠️ 禁止项逆向JS/绕过验证码高频请求/IP池对抗存储个人隐私信息二、 核心难点薪资标准化与智能去重岗位数据最大的坑在于非结构化文本。15-25K·14薪和年薪30万无法直接比较这是所有分析的前提。1. 薪资解析引擎importrefromtypingimportTuple,Optionaldefparse_salary(salary_str:str)-Tuple[float,float]: 将各种格式的薪资字符串统一转换为 (月薪下限, 月薪上限) 单位元 支持格式15-25K, 15-25K·14薪, 20-30万/年, 面议(返回None) ifnotsalary_stror面议insalary_str:return(0.0,0.0)salary_strsalary_str.strip()# 匹配 15-25K 或 15-25kk_patternre.search(r(\d\.?\d*)\s*[-~]\s*(\d\.?\d*)\s*[kK],salary_str)# 匹配 20-30万/年 或 20-30万y_patternre.search(r(\d\.?\d*)\s*[-~]\s*(\d\.?\d*)\s*万,salary_str)# 匹配 14薪 / 15薪month_patternre.search(r(\d)\s*薪,salary_str)monthsint(month_pattern.group(1))ifmonth_patternelse12ifk_pattern:lowfloat(k_pattern.group(1))*1000highfloat(k_pattern.group(2))*1000elify_pattern:lowfloat(y_pattern.group(1))*10000/12highfloat(y_pattern.group(2))*10000/12else:return(0.0,0.0)# 折算到月均薪资monthly_lowround(low*months/12,2)monthly_highround(high*months/12,2)return(monthly_low,monthly_high)# 测试用例test_cases[15-25K·14薪,20-30万/年,8-12K,面议,25-35k]fortcintest_cases:print(f{tc:12}→{parse_salary(tc)})2. 多维度去重策略单纯按URL去重远远不够同一岗位可能被HR刷新后生成新链接importpandasaspdimporthashlibdefdeduplicate_jobs(df:pd.DataFrame)-pd.DataFrame: 三级去重策略 Level1: 精确URL去重 Level2: 公司名岗位名薪资范围 组合指纹去重 Level3: 相似度模糊去重可选防止换汤不换药 original_countlen(df)# Level 1dfdf.drop_duplicates(subset[url],keepfirst)# Level 2: 生成业务指纹df[biz_hash]df.apply(lambdar:hashlib.md5(f{r[company]}|{r[title]}|{r[salary_low]}|{r[salary_high]}.encode()).hexdigest(),axis1)dfdf.drop_duplicates(subset[biz_hash],keepfirst)dfdf.drop(columns[biz_hash])print(f去重:{original_count}→{len(df)}(移除{original_count-len(df)}条))returndf.reset_index(dropTrue)三、 可视化分析看板使用pyecharts生成交互式图表比静态matplotlib更适合岗位分析场景frompyecharts.chartsimportBar,Scatter,Mapfrompyechartsimportoptionsasoptsimportpandasaspddefgenerate_dashboard(df:pd.DataFrame):# 过滤有效薪资数据valid_dfdf[(df[salary_low]0)(df[salary_high]0)].copy()valid_df[avg_salary](valid_df[salary_low]valid_df[salary_high])/2# ① 各经验要求薪资分布箱线图替代方案分组柱状图exp_salaryvalid_df.groupby(experience)[avg_salary].agg([mean,median]).round(0)bar(Bar().add_xaxis(exp_salary.index.tolist()).add_yaxis(平均月薪,exp_salary[mean].tolist(),label_optsopts.LabelOpts(positiontop)).add_yaxis(中位数月薪,exp_salary[median].tolist()).set_global_opts(title_optsopts.TitleOpts(titlePython岗位经验vs薪资),tooltip_optsopts.TooltipOpts(triggeraxis),yaxis_optsopts.AxisOpts(name元/月)))bar.render(exp_salary.html)# ② 城市-薪资散点图发现性价比城市scatter(Scatter().add_xaxis(valid_df[city].tolist()).add_yaxis(平均月薪,valid_df[avg_salary].tolist()).set_global_opts(title_optsopts.TitleOpts(title城市薪资分布),xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate45))))scatter.render(city_salary_scatter.html)# ③ 技能标签词频TOP15fromcollectionsimportCounter all_skills[]forskillsinvalid_df[skills]:ifisinstance(skills,list):all_skills.extend(skills)skill_top15Counter(all_skills).most_common(15)skill_bar(Bar().add_xaxis([s[0]forsinskill_top15]).add_yaxis(出现次数,[s[1]forsinskill_top15]).reversal_axis().set_global_opts(title_optsopts.TitleOpts(title高频技能TOP15)))skill_bar.render(skill_top15.html)print(✅ 3个可视化看板已生成)四、 合法替代数据获取路径方案适用场景优势限制BOSS直聘App导出个人求职对比零风险数据实时手动操作量小企业开放API企业内部人才库建设合规、结构化、稳定需企业资质审核国家统计局/人社部公开数据宏观趋势研究权威、免费粒度粗更新慢招聘平台年度报告行业薪资基准参考专业分析、合规非原始数据Kaggle/天池招聘数据集学习练手安全、完整时效性差强烈建议如果是为了学习数据分析推荐使用 Kaggle上的招聘数据集 或自己手动收集50-100条样本即可覆盖所有技术点。将精力花在薪资解析算法优化、NLP技能提取、统计建模上远比研究如何绕过反爬更有职业价值。五、 总结技术环节教学重点合规红线数据采集请求频率控制、Session管理、异常重试禁止逆向、禁止高频、禁止绕验证薪资解析正则表达式、多格式兼容、边界处理不存储原始隐私字段数据去重多级指纹、业务语义去重不关联个人身份信息可视化交互式图表、多维交叉分析不对外发布未授权数据数据获取API优先、公开数据集替代遵守robots.txt与ToS真正的爬虫实战能力不是“能爬到别人爬不到的数据”而是“能在合规前提下用最优雅的方式解决数据获取与分析问题”。把技术用在正确的地方才能走得长远。