最近总看到有人问“想学 Python 搞爬虫和数据分析是不是得先把语法书从第一章啃到最后一章”我的建议是不用。爬虫和数据分析是 Python 两个最典型的“用着学”场景你把一个请求发出去、拿回数据、用 pandas 清洗、再画一张图这一圈跑通比背十遍“列表和元组的区别”都管用。这条学习路线适合两类人。第一类是真零基础之前没写过 Python想直奔爬虫和数据分析不想在无关知识点上耗时间第二类是写过一点脚本但遇到“请求超时、网页结构变了、中文乱码、Excel 输出打不开”就卡住的人。下面我按一条可执行的路径走先准备环境再速通 Python 最常用的语法然后写一个能跑通的爬虫脚本把抓到的数据交给 pandas 清洗、统计、可视化最后把脚本升级成带重试、限速和日志的批量任务。整个过程不需要高配硬件普通办公电脑就够。先给结论Python 做爬虫和数据分析核心门槛不在电脑配置而在三件事——环境能不能一次装好、请求能不能稳定发出去、数据清洗逻辑能不能经得住真实脏数据。这篇文章会把这三件事逐个拆开并且每个环节都会给验证方法。遇到问题直接看后面的排查清单。1. Python 核心能力速览爬虫 数据分析能力项说明技术方向爬虫requests BeautifulSoup、数据分析pandas matplotlib硬件门槛普通 CPU 电脑即可GPU 不是必需支持系统Windows / macOS / Linux 均可运行环境Python 3.9 及以上建议使用 venv 虚拟环境核心依赖requests、beautifulsoup4、lxml、pandas、matplotlib、openpyxl启动方式命令行运行脚本配合 VS Code 或 PyCharm 开发接口能力可调用目标站点 API也可用 FastAPI/Flask 把分析结果包装成 HTTP 服务批量任务支持通过循环、线程池或队列实现需加限速和重试输出形式CSV、Excel、JSON、数据库、图片图表适合场景数据采集、数据清洗、报表统计、自动化数据处理从这张表能看出来它并不是一个需要“服务器级配置”的深度学习项目而是一套低成本、强实用的技能组合。下面从环境开始逐步搭起来。2. 适用场景与使用边界先说适合干什么。爬虫部分的典型场景是自动采集公开的商品信息、行业报告、新闻列表、公开数据集或者把多个页面的数据汇总成一张表。数据分析部分的典型场景是对采集到的数据做清洗、去重、缺失值处理、分组统计最后输出图表或 Excel 报表。两者连起来就是一个“采数据 - 洗数据 - 出结果”的完整小项目也是很多数据相关岗位的日常缩影。不适合什么场景也说得直白一点如果你做的是海量级商业采集、需要分布式调度、需要登录后抓取大量个人数据那这套入门组合只能当起点你得考虑更严谨的采集架构、代理管理、验证码处理和存储方案。如果只是想要“回车就出分析报告”的零代码工具不想写任何代码那这条 Python 路线的学习成本对你来说可能偏高。使用边界必须重点说。爬虫不是“能访问就能抓”。无论教程里给什么示例你实际使用时都要注意只采集目标网站明确允许访问的内容先看robots.txt和网站服务条款。不采集个人敏感信息不抓取需要登录才能查看的非公开数据。控制请求频率不要对目标站点造成压力。有官方 API 时优先走 API而不是硬爬网页。采集数据不能直接用于商业发布或二次分发尤其涉及版权素材时要确认授权。这不是套话。数据采集领域的法律纠纷越来越多做技术的人更要清楚边界。文章里的示例都基于公开测试接口或本地测试页面实际项目落地前一定要先做合规评估。3. 环境准备与前置条件3.1 操作系统与 Python 版本Windows、macOS、Linux 都可以。建议安装 Python 3.9 及以上版本安装时勾选“Add Python to PATH”避免后面命令行找不到python命令。先确认安装结果打开终端或命令提示符执行python --version pip --version如果python不生效但python3生效说明系统里存在多个 Python 版本后续命令把python换成python3即可。3.2 创建虚拟环境并安装依赖我一直建议用虚拟环境因为爬虫和数据分析的第三方库依赖比较集中用 venv 隔离后不会污染系统 Python也不会和别的项目打架。创建和激活方式如下python -m venv pyenv # Windows pyenv\Scripts\activate # macOS / Linux source pyenv/bin/activate激活后命令行前面会出现(pyenv)字样说明已经在虚拟环境里。接下来安装本文会用到的核心依赖pip install requests beautifulsoup4 lxml pandas matplotlib openpyxl安装过程如果超时先确认网络情况也可以临时切换国内镜像源。推荐把镜像源写入全局配置省得每次手动加参数。3.3 IDE 推荐新手建议用 VS Code插件装Python和Jupyter写脚本和调试都比较方便。如果更习惯专业数据分析场景可以装 Anaconda里面自带了 pandas、matplotlib 和 Jupyter Notebook。用 Anaconda 的话上面的依赖基本不用重复装。3.4 磁盘空间与端口占用这类学习项目依赖包体积不大安装完成后的虚拟环境一般在几百 MB 以内不需要担心磁盘。如果你后面要跑 FastAPI 接口服务注意默认端口8000可能被其他服务占用启动前先检查端口。后面排错章节会专门讲。4. Python 基础语法速通一周学习路径“零基础”不等于“零语法”。但要学的不是整本语法书而是爬虫和数据分析立刻用得上的子集。下面这套一周规划每个阶段都配一个可验证的小任务。时间学习内容练习目标Day 1变量、数字、字符串、列表、字典能写出一个保存商品信息的字典列表Day 2条件判断、for 循环、while 循环能遍历列表并按要求筛选数据Day 3函数、异常处理、模块导入能把请求逻辑封装成函数并捕获异常Day 4文件读写、CSV 处理、pip 安装能把结果写入 CSV 文件Day 5requests 请求、响应解析能请求公开接口并保存 JSONDay 6BeautifulSoup 解析、翻页、去重能跑通一个列表页抓取脚本Day 7pandas 清洗、统计、matplotlib 出图能输出统计表和柱状图4.1 变量与四种常用数据结构爬虫返回的数据几乎都是列表和字典的组合。你不需要把 Python 所有容器类型都精通但列表、字典、元组、集合必须会。尤其是列表推导式写数据清洗时能省一大半代码nums [1, 2, 3, 4, 5, 6] # 只需要奇数并且计算平方 squares [n * n for n in nums if n % 2 1] print(squares) # [1, 9, 25] # 字典保存一条商品记录 product { title: Python 爬虫实战, price: 59.9, stock: 20, } # 元组适合保存固定结构例如坐标、日期 point (10, 20) # 集合适合去重 tags {爬虫, 数据分析, 爬虫, 报表} print(tags) # {数据分析, 报表, 爬虫}这一小段覆盖了后续脚本里 80% 的容器操作。学习时不要只看直接在 IDE 里逐行运行观察输出。4.2 流程控制与函数封装爬虫脚本里的逻辑基本是“循环遍历页面 - 判断状态码 - 解析字段 - 保存结果”。把这些逻辑封装成函数脚本会清晰很多def get_page(url: str) - dict: 发送 GET 请求并返回状态码和文本 import requests resp requests.get(url, timeout10) return {status: resp.status_code, text: resp.text} def main(): page get_page(https://httpbin.org/get) if page[status] 200: print(请求成功) else: print(f请求失败状态码: {page[status]}) if __name__ __main__: main()这里的if __name__ __main__是 Python 脚本的常见写法表示只有直接运行该文件时才执行main()被导入时不执行。这个习惯从第一天就养成后面写工程化代码会很舒服。4.3 异常处理爬虫的必修课爬虫最怕的不是语法错误而是运行到一半网络抖动导致脚本崩溃。所以请求逻辑必须包一层try/exceptimport requests from requests.exceptions import RequestException try: resp requests.get(https://httpbin.org/get, timeout10) resp.raise_for_status() except RequestException as e: print(f请求异常: {e}) else: print(resp.json())raise_for_status()会在状态码是 4xx/5xx 时抛出异常配合except就能把“请求失败导致的崩溃”变成“打印日志后继续运行”。这是后面批量任务稳定性的基础。5. 爬虫实战从 requests 到数据落地5.1 第一次请求先看状态码requests 是 Python 里最常用的 HTTP 请求库。第一个测试用公开测试接口https://httpbin.org/get它能原样返回我们发出的请求参数非常适合验证环境通不通。import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36 } resp requests.get( https://httpbin.org/get, headersheaders, timeout10, ) print(resp.status_code) print(resp.json())运行后看到200和一段 JSON说明 requests 已经能正常工作。headers里的User-Agent模拟浏览器标识这是最基础的身份声明。很多站点会拒绝没有 User-Agent 的请求所以这个参数通常都要带。判断成功的标准很简单状态码为 200resp.json()能正常解析。常见的失败是超时或 SSL 错误前者多半是网络问题后者会在后文排查清单里给方案。5.2 用 BeautifulSoup 解析页面如果目标页面返回的是 HTML 而不是 JSON就需要解析 HTML 并提取字段。BeautifulSoup 配合 lxml 解析器是最常见的组合。下面先用一段本地 HTML 测试解析逻辑不依赖网络from bs4 import BeautifulSoup html div classitem h2 classtitlePython 爬虫实战/h2 span classprice59.9/span /div div classitem h2 classtitlepandas 数据分析入门/h2 span classprice49.0/span /div soup BeautifulSoup(html, lxml) items soup.select(.item) for item in items: title item.select_one(.title).text.strip() price item.select_one(.price).text.strip() print(title, price)select和select_one接收 CSS 选择器.item表示 class 为item的元素。解析前先用浏览器开发者工具确认目标元素的 class 或 id这一步是爬虫脚本能不能写对的关键。5.3 列表页采集并保存 CSV把请求、解析、保存串起来就是一个最小可用的采集脚本。下面示例是伪数据页面结构实际使用时把 URL 和选择器替换成你自己的目标即可import csv import requests from bs4 import BeautifulSoup headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) } def fetch_page(url: str) - str: resp requests.get(url, headersheaders, timeout10) resp.encoding resp.apparent_encoding return resp.text def parse_page(html: str) - list[dict]: soup BeautifulSoup(html, lxml) rows [] for item in soup.select(.item): title item.select_one(.title).text.strip() price item.select_one(.price).text.strip() rows.append({title: title, price: price}) return rows def main(): html fetch_page(https://example.com/list) rows parse_page(html) with open(output.csv, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[title, price]) writer.writeheader() writer.writerows(rows) print(f已保存 {len(rows)} 条数据) if __name__ __main__: main()这里有一个容易被忽略的细节写入 CSV 时用了encodingutf-8-sig。如果直接用utf-8生成的 CSV 用 Excel 打开时中文可能乱码。utf-8-sig会在文件开头写入 BOMExcel 能正确识别。5.4 分页采集与去重真实站点通常有多页数据翻页规律一般是 URL 里的页码参数比如?page1、?page2。写循环时建议把每一页的解析结果先放在一个总列表里最后再一次去重和保存all_rows [] for page in range(1, 6): url fhttps://example.com/list?page{page} html fetch_page(url) rows parse_page(html) all_rows.extend(rows) # 去重按 title 去重保留最后一次结果 unique_rows {row[title]: row for row in all_rows}.values()字典的 key 唯一性可以用来去重{row[title]: row}会保留同名商品的最后一次记录。如果想去重时保留第一条可以用更完整的 set 判断逻辑。这个技巧在数据量不大时非常实用不需要引入额外依赖。6. 数据分析实战pandas 清洗与可视化6.1 读取数据并检查质量采集完的数据往往带着空值、重复值、类型错乱等问题。pandas 的第一件事不是马上算均值而是先看数据长什么样import pandas as pd df pd.read_csv(output.csv) print(df.info()) print(df.head()) print(df.describe())df.info()展示每列的非空数量和数据类型。看到price列是 object 而不是 float说明价格字段里混入了非数字内容比如“暂无报价”这类文本。这是真实数据最常见的问题。6.2 数据清洗典型操作# 删除标题为空的行 df df.dropna(subset[title]) # 价格转为数值无法转换的置为 NaN df[price] pd.to_numeric(df[price], errorscoerce) # 处理缺失价格用均值填充或直接置 0 df[price] df[price].fillna(0) # 去掉完全重复的行 df df.drop_duplicates() # 按分组统计 result df.groupby(category)[price].agg([count, mean, sum]) print(result)判断清洗是否成功的方法df.info()里price列类型变成float64非空数量等于总行数drop_duplicates后行数明显减少。只有这步通过后续统计才有意义。6.3 输出 Excel 报表把统计结果导出 Excel是很多业务场景的需求。需要提前装openpyxl导入时就引入 Excel 支持with pd.ExcelWriter(report.xlsx, engineopenpyxl) as writer: result.to_excel(writer, sheet_name分类汇总) df.to_excel(writer, sheet_name明细, indexFalse)一个 Excel 工作簿里放两个 sheet明细和汇总。注意明细表导出时用indexFalse不然会多出一列索引业务方打开后会奇怪“第一列怎么是 0 1 2”。6.4 matplotlib 可视化图表能直接暴露数据异常。比如你想看每个分类的商品数量分布import matplotlib.pyplot as plt df[category].value_counts().plot(kindbar) plt.title(各类别商品数量分布) plt.xlabel(类别) plt.ylabel(数量) plt.tight_layout() plt.savefig(category.png, dpi150) print(图表已保存)tight_layout()用来避免标签被截断dpi150保证导出图片清晰度。如果中文标签乱码是因为 matplotlib 默认字体不含中文字符。解决方案是显式指定一个支持中文的字体或者只在代码阶段用英文标签分析报告时再替换为中文。7. 批量任务、API 接口与工程化7.1 从单页脚本升级为批量任务批量任务要解决三个问题重试、限速、失败记录。直接用for循环可以跑但一旦目标站点限流脚本很容易跑一半中断。下面是一个带重试的批量请求模板import time import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry session requests.Session() # 重试策略最多重试 3 次退避因子 1 秒遇到 500/502/503 时重试 retry Retry( total3, backoff_factor1, status_forcelist[500, 502, 503], ) adapter HTTPAdapter(max_retriesretry) session.mount(http://, adapter) session.mount(https://, adapter) urls [ https://httpbin.org/status/200, https://httpbin.org/status/500, https://httpbin.org/status/200, ] for url in urls: try: resp session.get(url, timeout10) print(url, resp.status_code) except requests.RequestException as e: print(f失败: {url}, {e}) time.sleep(1) # 限速每请求间隔 1 秒Session会复用底层连接比每次新建连接更快。Retry会自动处理临时故障backoff_factor1表示重试前等待时间为 1 秒、2 秒、4 秒递增。time.sleep(1)是主动限速给目标站点留出处理空间。这里用httpbin.org/status/500演示失败情况注意实际运行时该 URL 会返回 500 状态并触发重试逻辑。判断批量任务是否健壮的标准遇到 500 后脚本不会崩能自动重试并继续后续任务如果最终仍然失败会在日志里留下记录方便补采。7.2 用 API 代替硬爬能调 API 就不要硬爬网页。API 返回的是结构化 JSON请求稳定、解析简单、对服务器压力也小。下面是调用一个 JSON 接口并用 pandas 直接转成 DataFrame 的通用模板import requests import pandas as pd resp requests.get( https://httpbin.org/json, headers{User-Agent: Mozilla/5.0}, timeout10, ) resp.raise_for_status() data resp.json() # 如果返回的是列表直接转 DataFrame df pd.DataFrame(data.get(slideshow, {}).get(slides, [])) print(df.head())httpbin.org/json是一个公开测试接口返回固定的 JSON 结构。实际项目中把 URL 换成你的目标接口再根据返回结构调整取值路径即可。判断接口调用是否成功的标准resp.status_code为 200data能正常解析df不为空。7.3 用 FastAPI 包装分析结果如果希望把“爬取 分析”的结果提供给其他系统使用可以用 FastAPI 包一层 HTTP 服务。这一步不是必须但能让你理解“数据分析结果怎么变成接口服务”的完整链路。pip install fastapi uvicorn创建一个app.pyfrom fastapi import FastAPI import pandas as pd app FastAPI() app.get(/summary) def summary(): df pd.read_csv(output.csv) result df.groupby(category)[price].agg([count, mean]).to_dict() return {total_rows: len(df), by_category: result}启动服务uvicorn app:app --host 127.0.0.1 --port 8000启动后访问http://127.0.0.1:8000/summary就能看到 JSON 格式的统计数据。这个服务只监听本地地址避免暴露到公网。如果要把服务部署到服务器需要额外考虑访问控制不要让任何人都能触发你的数据读取接口。8. 资源占用与性能观察8.1 观察 CPU 和内存爬虫和分析脚本是 CPU 密集型任务显存完全用不上。性能观察的重点是内存如果一次把几百万行数据全部读入 pandas内存会飙升。处理大文件时用pd.read_csv(..., chunksize10000)分批读取。CPU解析大量 HTML 时lxml解析器速度明显快于标准库html.parser这是我们在前面就指定lxml的原因。网络爬虫瓶颈通常在网络等待而不是 CPU。这也是为什么批量任务里可以用Session复用连接提升效率。8.2 如何降低资源占用数据量大时优先做三件事只保留需要的列、尽早过滤不需要的行、先采样验证逻辑再全量跑。比如读取时直接指定列df pd.read_csv(output.csv, usecols[title, price, category])这样可以减少内存占用。如果分析对象是上 GB 的日志文件建议学一下dtype参数和 chunk 分块处理这已经属于进阶内容但入门阶段先记住“能早过滤就早过滤”这个原则。8.3 端口冲突与进程残留用 FastAPI 启动服务时如果端口被占用启动会报Address already in use。排查方式很简单# Linux / macOS lsof -i :8000 # Windows netstat -ano | findstr 8000找到占用进程后可以换一个端口启动uvicorn app:app --port 8001或者结束占用进程。不建议直接kill -9一个不了解的进程先确认进程归属再处理。9. 常见问题与排查方法问题现象可能原因排查方式解决方案pip安装超时默认源访问不稳定查看报错 URL 与网络状态切换国内镜像源并写入全局配置requests请求超时网络波动或目标站点限制加 timeout 参数、打印状态码重试、延长超时、降低请求频率返回内容中文乱码编码识别错误打印resp.encoding手动指定resp.encoding utf-8或按页面实际情况调整pandas读 CSV 报错分隔符或编码不一致用文本编辑器查看文件头几行pd.read_csv(..., sep,, encodingutf-8-sig)Excel 打开 CSV 乱码写入时未用带 BOM 编码用记事本看文件编码写入时使用encodingutf-8-sig翻页时数据重复目标页面存在重复推广位检查每页结果数量解析后统一按标题去重批量任务跑到一半卡住未设置重试和超时查看日志和重试次数使用 Session Retry 单请求超时接口服务启动失败端口被占用检查端口占用情况换端口或结束冲突进程图表中文显示为方块matplotlib 默认字体不含中文查看运行环境字体列表手动设置支持中文的字体名称遇到问题不要先想着“加反爬绕过”优先检查自己的代码逻辑和请求合规性。很多“被限制”其实是请求频率太高或者缺少基本请求头导致的先把限速和请求头补齐。10. 最佳实践与合规建议工程化能力不是第一天就有的但可以从第一次写脚本时就培养。下面几条是我自己在项目里一直坚持的做法第一轮先小范围测试。不要直接跑一万个 URL先跑 5 个确认解析和保存逻辑没问题再全量执行。目录分清楚。建议建三个目录input/放 URL 清单output/放原始结果report/放分析和图表。后面找数据、重新生成报表会方便很多。每个脚本都要写日志。用 Python 的logging模块替代print方便批量任务排错。批量任务要支持断点续跑。能通过记录“已成功处理的 URL”来跳过已完成项避免失败重跑时重复请求。接口服务不要监听公网地址。没有认证的读取接口暴露到公网轻则被扫描器刷流量重则数据泄露。涉及人脸、声音、版权素材、个人数据时必须先确认授权。爬虫采集的内容不能想当然地认为可以商用。发布分析结果前人工复核一遍。图表数字可能因为清洗逻辑错误而失真数据看板的“看起来对”不等于“真的对”。这些建议在学习和个人项目阶段够用。等你要做正式的商业采集服务还需要更完整的权限控制、数据脱敏和审计机制。11. 总结与下一步这条 Python 爬虫 数据分析路线的价值在于它用最少的概念把你从“完全不会写代码”带到“能跑通一个采集、清洗、出图、出报表的完整流程”。建议你先按顺序跑通前三件事环境安装、requests 请求、pandas 读文件。这三个跑通后面就是不断替换 URL、选择器和字段名的熟练工作。最容易踩的坑有三个一是环境没装好就开始写代码最后乱在不熟悉的部分二是爬虫请求不设超时和重试网络一抖脚本就崩三是清洗逻辑没验证就出报表数字错了还往上交。这三个坑这篇文章都给了对应的验证方法和排查方案。下一步可以按自己的兴趣选方向想深入采集可以学 Scrapy 框架、分布式采集、数据去重和增量更新想深入分析可以学 SQL、数据可视化进阶、统计分析甚至机器学习入门。把今天这套最小闭环跑熟你后面学任何方向都会更快。建议把这份学习路线收藏备用。遇到问题时回来看第三章的环境检查、第五章的爬虫模板和第九章的排查表格大部分入门问题都能直接定位。