淘宝商品评论数据爬取：Python实战指南

在电商数据分析、竞品调研、产品优化、用户舆情挖掘场景中淘宝商品评论数据是最具价值的真实用户数据源。相比于商品销量、价格、详情页参数用户真实评价、评分、购买规格、追评、晒单内容能够直观反映产品优缺点、用户痛点、品控问题以及竞品差异化优势。淘宝评论数据采用AJAX异步动态加载无法直接通过静态网页源码获取且平台具备严格的反爬机制常规爬虫极易出现请求失败、数据为空、IP封禁、验证码拦截等问题。本文基于 Python 实现一套稳定、可落地、带反爬策略、可批量分页采集的淘宝评论爬虫方案涵盖接口抓包分析、请求伪造、批量分页爬取、数据清洗、本地存储全流程代码简洁可直接运行适配个人调研、小规模数据分析场景。如需合规高效批量采集可使用标准化数据接口.一、前置准备环境与工具选型开发环境Python 3.8 版本搭配 VS Code / PyCharm 均可适配主流运行环境。核心依赖库requests发送 HTTP 请求实现接口数据拉取fake-useragent随机生成浏览器UA规避基础反爬检测pandas数据结构化清洗、去重、导出 Excel 报表time/random实现随机休眠模拟真人浏览节奏一键安装所有依赖pip install requests fake-useragent pandas二、淘宝评论接口核心原理分析接口加载逻辑淘宝商品页面静态源码仅展示基础商品信息评论数据全部通过异步AJAX接口动态请求渲染页面滚动加载评论本质是分页调用后端评论接口。我们只需抓包拿到真实接口地址与请求参数即可直接批量请求获取结构化评论数据。关键抓包步骤必看打开淘宝商品详情页按下 F12 进入开发者工具切换至「网络(Network)」面板清空所有请求记录下滑页面加载评论区筛选 XHR/ Fetch 类型请求找到评论数据接口提取接口核心参数商品ID、分页页码、每页条数、加密请求参数复制完整请求 Headers重点保留 Cookie、Referer、User-Agent这是请求成功的核心。核心采集字段业务常用本次实战精准抓取电商分析核心字段无冗余数据用户昵称、用户头像评论星级、评分等级评论正文、晒图链接购买商品规格颜色/尺寸/版本评论时间、追评内容三、核心实战代码稳定分页爬取淘宝评论以下代码经过实测优化内置随机UA、请求间隔、异常捕获、分页遍历、数据去重有效规避基础反爬新手可直接替换参数运行。importrequestsimporttimeimportrandomimportpandasaspdfromfake_useragentimportUserAgent# 初始化随机UAuaUserAgent()classTaobaoCommentSpider:def__init__(self):# 自定义请求头需替换为自己抓包的Cookie否则大概率无数据self.headers{User-Agent:ua.random,Referer:https://detail.taobao.com/,Cookie:此处替换为自己抓包获取的淘宝Cookie}self.comment_list[]defget_comments(self,item_id,page1): 单页采集淘宝商品评论 :param item_id: 淘宝商品ID :param page: 分页页码 :return: 单页评论数据 # 淘宝评论动态接口通用适配urlfhttps://rate.tmall.com/list_detail_rate.htm?itemId{item_id}currentPage{page}pageSize20try:resrequests.get(url,headersself.headers,timeout15)res.encodingutf-8returnres.json()exceptExceptionase:print(f第{page}页请求失败{str(e)})returnNonedefparse_data(self,json_data):解析接口返回数据清洗结构化字段ifnotjson_dataorrateListnotinjson_data:returnFalserate_listjson_data.get(rateList,[])foriteminrate_list:comment_info{用户昵称:item.get(nick,),评论星级:item.get(star,),评论内容:item.get(rateContent,),购买规格:item.get(skuPropertiesName,),评论时间:item.get(rateDate,),是否晒图:1ifitem.get(pics,[])else0,追评内容:item.get(appendComment,),追评时间:item.get(appendTime,)}self.comment_list.append(comment_info)returnTruedefbatch_crawl(self,item_id,max_page10):批量分页爬取评论forpageinrange(1,max_page1):print(f正在采集第{page}页评论...)json_dataself.get_comments(item_id,page)statusself.parse_data(json_data)# 无更多评论则终止采集ifnotstatus:print(已无更多评论采集结束)break# 随机休眠2-5秒模拟真人操作防封禁time.sleep(random.uniform(2,5))print(f采集完成共获取{len(self.comment_list)}条评论数据)defsave_to_excel(self,save_name淘宝商品评论数据.xlsx):数据去重并导出Exceldfpd.DataFrame(self.comment_list)# 根据评论内容昵称去重过滤重复数据dfdf.drop_duplicates(subset[用户昵称,评论内容])df.to_excel(save_name,indexFalse)print(f数据已清洗导出至{save_name})if__name____main__:# 替换为目标淘宝商品IDTARGET_ITEM_ID123456789012spiderTaobaoCommentSpider()# 采集前10页评论可自定义页数spider.batch_crawl(TARGET_ITEM_ID,max_page10)spider.save_to_excel()四、关键参数替换与运行说明商品ID获取方式打开淘宝商品详情页从URL中提取 item_id示例链接https://item.taobao.com/item.htm?id123456789012加粗部分即为目标商品ID替换代码中 TARGET_ITEM_ID 即可。Cookie 替换核心要点淘宝评论接口必须携带有效登录Cookie匿名请求会返回空数据或报错浏览器登录淘宝账号进入商品评论抓包接口复制请求Headers中的完整Cookie替换代码中 Cookie 字段Cookie 过期需重新抓取更新。五、反爬优化与避坑实战技巧基础反爬规避策略随机请求间隔摒弃固定休眠时间采用2-5秒随机延时模拟真人浏览节奏动态UA轮换每次请求随机生成浏览器UA避免单一设备标识被风控请求头完整伪造保留Referer、Cookie核心字段伪装正常页面访问请求。高频问题解决方案请求成功但无数据90%为Cookie过期或无效重新抓取登录态Cookie即可解决频繁请求被拦截减少单批次采集页数延长休眠时间禁止高频批量遍历数据重复冗余开启pandas去重逻辑根据昵称评论内容双重去重保证数据纯净接口报错超时增加超时捕获与异常重试规避网络波动导致的采集中断。重要合规提醒本代码仅适用于个人学习、小规模数据分析、竞品调研场景。大规模、商业化批量爬取极易触发平台风控存在IP封禁、账号限流、合规风险。商业化稳定方案优先使用合规第三方标准化接口无需抓包、无需维护Cookie、自带反爬调度稳定批量获取淘宝、京东、1688全量商品与评论数据。六、数据落地应用场景采集清洗后的结构化评论数据可直接用于各类电商分析场景竞品调研批量分析竞品差评痛点、用户核心诉求优化自有产品舆情分析通过评论文本、晒单数据挖掘产品品控、售后、发货问题选品优化统计高好评规格、高频用户需求指导货源选品与SKU布局运营复盘结合评论时间、追评数据分析产品长期使用反馈与复购潜力。七、总结淘宝评论爬取的核心难点不在于代码实现而在于动态接口定位、反爬规避、数据结构化清洗。本文提供的Python实战方案无需复杂框架轻量化易落地兼顾稳定性与实用性能够满足绝大多数个人调研、小规模数据分析需求。对于长期、批量、商业化的数据采集需求手动爬虫维护成本高、风控风险大采用合规标准化数据接口是最优解可实现7×24小时稳定采集无需频繁更新Cookie、适配接口迭代。