最近在项目开发中经常需要重复执行一些网页操作比如定时查询数据、批量下载文件、自动填写表单等。手动操作不仅效率低下还容易出错。有没有一种工具能像写代码一样让浏览器自动完成这些繁琐的网页交互呢答案是肯定的而且它可能就藏在你的电脑里。本文要介绍的正是将浏览器从“浏览工具”转变为“自动化执行工具”的核心技术——浏览器自动化。我们将以最流行的Selenium和Playwright框架为例手把手带你从零构建一个能“替你干活”的浏览器机器人。无论你是想提升日常办公效率还是为项目开发自动化测试脚本这篇文章都能提供一套完整的闭环实操方案。1. 浏览器自动化概念、价值与核心工具在深入代码之前我们首先要理解什么是浏览器自动化以及它能为我们解决哪些实际问题。1.1 什么是浏览器自动化简单来说浏览器自动化就是通过编写程序代码来模拟真实用户对浏览器的操作。这些操作包括但不限于导航打开、关闭网页前进、后退。交互点击按钮、链接填写文本框选择下拉框。提取获取页面上特定元素的文本、属性或结构。执行运行网页中的 JavaScript 代码。控制管理 Cookies、本地存储、弹窗、标签页等。其核心价值在于将重复性、规律性的网页操作流程固化下来由程序7x24小时准确无误地执行从而将人力从枯燥的劳动中解放出来。1.2 核心应用场景自动化测试这是最经典的应用。Web 应用的 UI 功能测试、回归测试通过自动化脚本可以快速、批量执行确保每次更新后核心功能正常。数据抓取与监控定时访问特定网站抓取价格、新闻、股票等动态信息进行聚合分析。相较于简单的 HTTP 请求自动化能处理需要登录、有复杂交互如点击“加载更多”的页面。业务流程自动化自动完成一些日常办公流程如每天登录内部系统下载报表、自动提交周报、批量处理电商平台订单等。网页性能监控模拟用户访问路径监测页面加载时间、资源加载情况生成性能报告。1.3 主流工具选型Selenium vs Playwright目前最主流的两个浏览器自动化框架是Selenium和Playwright。了解它们的区别有助于我们做出合适的选择。特性SeleniumPlaywright诞生时间2004年历史悠久生态成熟2020年由微软推出较新核心架构WebDriver协议通过浏览器驱动与浏览器通信开发者工具协议直接与浏览器内核通信支持浏览器Chrome, Firefox, Edge, Safari 等Chrome, Firefox, Safari, Edge (基于Chromium)执行速度较慢更快通信效率高内置自动等待录制功能需借助 IDE 或第三方工具原生支持代码录制生成脚本非常方便移动端模拟支持但配置较复杂支持API 更友好如模拟设备、地理位置网络拦截有限支持强大支持可模拟慢速网络、拦截修改请求学习曲线平缓资料极多适中API 设计现代且一致选择建议新手入门、老项目维护、追求生态稳定选择Selenium。新项目启动、追求执行速度和开发效率、需要高级功能如录屏、网络模拟选择Playwright。本文将分别介绍两者的基础用法你可以根据需求选择学习。2. 环境准备与项目搭建工欲善其事必先利其器。我们先来搭建开发环境。本文示例将使用Python作为编程语言因为它语法简洁是自动化领域的首选语言之一。2.1 基础环境准备安装 Python确保你的电脑已安装 Python 3.7 或更高版本。可以在命令行输入python --version或python3 --version检查。安装包管理工具 pip通常随 Python 一起安装。使用pip --version检查。选择 IDE推荐使用PyCharm或VS Code它们对 Python 和自动化脚本开发支持良好。2.2 安装浏览器驱动与自动化库我们将分别创建两个项目目录来演示 Selenium 和 Playwright。项目结构规划browser-automation-demo/ ├── selenium_demo/ │ ├── main.py │ └── requirements.txt └── playwright_demo/ ├── main.py └── requirements.txt2.2.1 Selenium 环境搭建安装 Selenium 库# 在项目目录下 pip install selenium下载浏览器驱动Selenium 需要通过一个“驱动”来控制浏览器。以 Chrome 为例首先查看你电脑上 Chrome 的版本在浏览器地址栏输入chrome://version/。然后访问 ChromeDriver 官网 或国内镜像站下载与你的 Chrome主版本号完全相同的驱动。将下载的chromedriver.exe(Windows) 或chromedriver(Mac/Linux) 文件方法一推荐放在项目根目录下。方法二放在系统 PATH 环境变量包含的目录中如/usr/local/bin。2.2.2 Playwright 环境搭建Playwright 的安装更加一体化。安装 Playwright 库pip install playwright安装浏览器内核Playwright 需要安装它自己管理的浏览器。playwright install这条命令会下载 Chromium, Firefox 和 WebKit 的核心浏览器文件速度取决于网络。3. Selenium 核心实战从零控制浏览器让我们从一个最简单的例子开始用 Selenium 打开百度搜索一个关键词。3.1 基础脚本打开网页与搜索在selenium_demo/main.py中编写以下代码# 文件selenium_demo/main.py from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time # 1. 创建浏览器驱动实例 # 确保 chromedriver 在 PATH 或当前目录 driver webdriver.Chrome() # 如果驱动不在PATH可指定路径webdriver.Chrome(executable_path./chromedriver) try: # 2. 导航到目标网址 driver.get(https://www.baidu.com) print(f当前页面标题{driver.title}) # 3. 定位搜索框元素并输入内容 # 通过元素的ID属性定位这是最快最准的方式 search_box driver.find_element(By.ID, kw) search_box.send_keys(Selenium 自动化测试) # 输入文本 search_box.send_keys(Keys.RETURN) # 模拟按下回车键 # 4. 等待页面加载这里用简单休眠实际项目应用显式等待 time.sleep(3) # 5. 获取搜索结果 results driver.find_elements(By.CSS_SELECTOR, “h3 a”) # 定位所有搜索结果标题链接 print(f“找到 {len(results)} 条搜索结果”) for i, result in enumerate(results[:5], 1): # 打印前5条 print(f“{i}. {result.text}”) print(f“ 链接{result.get_attribute(‘href’)}”) finally: # 6. 关闭浏览器 # driver.close() # 关闭当前标签页 driver.quit() # 关闭整个浏览器并结束驱动进程代码解释与关键点webdriver.Chrome()初始化一个 Chrome 浏览器实例。driver.get(url)让浏览器加载指定 URL。find_element(By.ID, “kw”)通过 ID 定位页面元素。By类提供了多种定位策略ID, NAME, CLASS_NAME, TAG_NAME, LINK_TEXT, PARTIAL_LINK_TEXT, CSS_SELECTOR, XPATH。send_keys()向输入框发送键盘输入。find_elements()返回一个匹配元素的列表find_element()只返回第一个。driver.quit()非常重要必须调用此方法来清理驱动进程否则它会一直在后台运行。3.2 核心技能元素定位与等待机制元素定位和等待是 Selenium 自动化中最关键也最容易出错的环节。3.2.1 八大元素定位法# 假设页面有input id“username” name“user” class“form-input”用户名/input # 和一个链接a href“/logout”退出登录/a driver.find_element(By.ID, “username”) # 最优先使用唯一且高效 driver.find_element(By.NAME, “user”) # 常用于表单元素 driver.find_element(By.CLASS_NAME, “form-input”) # 可能不唯一需谨慎 driver.find_element(By.TAG_NAME, “input”) # 非常不精确通常用于找多个同类元素 driver.find_element(By.LINK_TEXT, “退出登录”) # 精确匹配链接文本 driver.find_element(By.PARTIAL_LINK_TEXT, “退出”) # 部分匹配链接文本 driver.find_element(By.CSS_SELECTOR, “input#username”) # 强大灵活推荐 driver.find_element(By.XPATH, “//input[id‘username’]”) # 功能最强但可能复杂最佳实践优先使用IDCSS SelectorXPath。CSS Selector 在性能和可读性上通常优于复杂的 XPath。3.2.2 三种等待方式网页元素加载需要时间直接操作未加载的元素会抛出NoSuchElementException。强制等待time.sleep(seconds)。简单粗暴但效率低下不推荐在生产脚本中使用。隐式等待driver.implicitly_wait(seconds)。设置一个全局等待时间在查找任何元素时如果元素没有立即出现会轮询等待设定的时间。缺点是会影响所有find_element操作。显式等待最推荐的方式。针对某个特定条件进行等待条件满足后立即继续执行更加智能高效。from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 等待最多10秒直到ID为‘kw’的元素出现在DOM中并可交互 wait WebDriverWait(driver, 10) search_box wait.until(EC.presence_of_element_located((By.ID, “kw”))) search_box.send_keys(“hello”) # 其他常用条件 # EC.element_to_be_clickable((By.ID, “submit”)) # 元素可点击 # EC.visibility_of_element_located((By.CLASS_NAME, “result”)) # 元素可见 # EC.title_contains(“百度”) # 页面标题包含某文字3.3 实战案例自动登录并获取数据假设我们需要登录一个演示网站例如 https://the-internet.herokuapp.com/login 然后获取登录成功后的提示信息。# 文件selenium_demo/login_demo.py from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver webdriver.Chrome() wait WebDriverWait(driver, 10) try: driver.get(“https://the-internet.herokuapp.com/login”) # 定位用户名、密码输入框和登录按钮 username_input wait.until(EC.presence_of_element_located((By.ID, “username”))) password_input driver.find_element(By.ID, “password”) login_button driver.find_element(By.CSS_SELECTOR, “button[type‘submit’]”) # 输入凭据并点击登录 username_input.send_keys(“tomsmith”) password_input.send_keys(“SuperSecretPassword!”) login_button.click() # 等待登录成功后的元素出现 success_message wait.until( EC.visibility_of_element_located((By.CSS_SELECTOR, “.flash.success”)) ) print(“登录成功提示信息”, success_message.text) # 可以继续其他操作比如点击注销 logout_button driver.find_element(By.CSS_SELECTOR, “a.button.secondary.radius”) logout_button.click() print(“已执行注销操作。”) finally: driver.quit()4. Playwright 核心实战现代自动化方案Playwright 提供了更简洁、强大的 API。我们来实现同样的百度搜索功能。4.1 基础脚本同步与异步 APIPlaywright 支持同步和异步两种编程模式。我们先看同步模式更易理解。# 文件playwright_demo/main_sync.py from playwright.sync_api import sync_playwright def run(): # 使用 sync_playwright 上下文管理器 with sync_playwright() as p: # 1. 启动浏览器默认是无头模式headlessFalse 可看到界面 browser p.chromium.launch(headlessFalse) # 改为 True 则不显示浏览器窗口 # browser p.firefox.launch() # 使用 Firefox # browser p.webkit.launch() # 使用 WebKit (Safari) # 2. 创建新页面标签页 page browser.new_page() try: # 3. 导航到百度 page.goto(“https://www.baidu.com”) print(f“页面标题{page.title()}”) # 4. 定位并操作搜索框 # Playwright 的定位器LocatorAPI 非常强大 search_box page.locator(“#kw”) # 使用CSS选择器 search_box.fill(“Playwright 自动化”) # fill() 会先清空再输入 search_box.press(“Enter”) # 按下回车 # 5. 等待导航完成Playwright 内置智能等待通常无需额外sleep page.wait_for_load_state(“networkidle”) # 等待网络基本空闲 # 6. 获取搜索结果 # 使用 locator 获取所有匹配元素 result_links page.locator(“h3 a”).all() print(f“找到 {len(result_links)} 条搜索结果”) for i, link in enumerate(result_links[:5], 1): # text_content() 获取元素内所有文本 print(f“{i}. {link.text_content()[:50]}...”) # 截取前50字符 # get_attribute() 获取属性 href link.get_attribute(“href”) if href: print(f“ 链接{href[:80]}...”) # 截断长链接 finally: # 7. 关闭浏览器 browser.close() if __name__ “__main__”: run()Playwright 优势体现locator()统一的元素定位入口支持链式调用。fill()/type()fill()直接替换输入框内容比send_keys更可靠。自动等待click(),fill(),type()等操作会自动等待元素可交互大幅减少手动等待代码。多浏览器支持一行代码切换chromium,firefox,webkit。4.2 高级功能网络拦截与模拟Playwright 的强大之处在于其深度控制能力。例如我们可以拦截网络请求修改请求或响应。# 文件playwright_demo/network_intercept.py from playwright.sync_api import sync_playwright def run(): with sync_playwright() as p: browser p.chromium.launch(headlessTrue) page browser.new_page() # 监听并拦截所有请求 def handle_request(route, request): # 打印请求的URL和方法 print(f“ {request.method} {request.url}”) # 继续原请求 route.continue_() # 监听并拦截所有响应 def handle_response(response): if “json” in response.headers.get(“content-type”, “”): # 如果是JSON响应可以在这里处理 # print(f“ {response.status} {response.url}”) pass page.route(“**/*”, handle_request) # 拦截所有请求 # page.on(“response”, handle_response) # 监听所有响应 page.goto(“https://httpbin.org/json”) print(“页面内容已加载。”) browser.close() if __name__ “__main__”: run()4.3 实战案例处理文件下载与弹窗自动化中常需处理文件下载和 JavaScript 弹窗alert, confirm, prompt。# 文件playwright_demo/handle_download_alert.py from playwright.sync_api import sync_playwright import os def run(): with sync_playwright() as p: browser p.chromium.launch(headlessFalse) # 设置下载路径并启用下载接受否则可能弹出‘保存文件’对话框 context browser.new_context(accept_downloadsTrue) page context.new_page() # ---------- 处理下载 ---------- # 监听下载事件 download_path “./downloads” os.makedirs(download_path, exist_okTrue) # 示例访问一个会触发下载的页面这里用httpbin的流式响应模拟 page.goto(“https://httpbin.org/stream-bytes/1024”) # 实际场景中可能是点击了一个下载链接或按钮 # page.click(“a#download-link”) # 等待下载开始并保存文件 with page.expect_download() as download_info: # 这里触发下载例如点击一个按钮。我们直接通过evaluate执行JS来触发一个下载。 page.evaluate(“”” () { const link document.createElement(‘a’); link.href ‘https://httpbin.org/stream-bytes/1024’; link.download ‘example.bin’; document.body.appendChild(link); link.click(); document.body.removeChild(link); } “””) download download_info.value # 指定保存路径 save_as os.path.join(download_path, download.suggested_filename) download.save_as(save_as) print(f“文件已下载到{save_as}”) # ---------- 处理弹窗 ---------- # 监听对话框alert, confirm, prompt事件 page.on(“dialog”, lambda dialog: dialog.accept()) # 自动接受所有弹窗 # 更精细的控制 # def handle_dialog(dialog): # print(f“对话框类型{dialog.type}, 消息{dialog.message}”) # if dialog.type “confirm”: # dialog.dismiss() # 取消 # else: # dialog.accept() # 接受 # page.on(“dialog”, handle_dialog) # 触发一个alert page.goto(“data:text/html,scriptalert(‘Hello Playwright!’);/script”) # 页面会自动处理弹窗 browser.close() if __name__ “__main__”: run()5. 常见问题与排查思路在编写和运行自动化脚本时你一定会遇到各种问题。下面是一些高频问题的排查指南。问题现象可能原因排查与解决思路NoSuchElementException(Selenium) 或TimeoutError(Playwright)1. 元素定位器写错了。2. 页面还没加载完就进行操作。3. 元素在 iframe 或 shadow DOM 内。4. 元素是动态生成的。1.检查定位器在浏览器开发者工具 Console 中用$()(CSS) 或$x()(XPath) 测试。2.增加等待使用显式等待 (WebDriverWait) 或 Playwright 的wait_for_selector。3.切换上下文对于 iframe使用driver.switch_to.frame()(Selenium) 或page.frame()(Playwright)。4.使用更稳定的定位避免依赖绝对 XPath 或动态生成的类名。浏览器启动失败或驱动找不到1. 浏览器驱动未安装或版本不匹配。2. 驱动文件不在 PATH 中。3. 浏览器正在运行端口冲突。1.检查版本确保浏览器与驱动版本严格匹配。2.指定路径在代码中显式提供驱动文件的绝对路径。3.关闭冲突进程结束所有残留的浏览器和驱动进程。脚本在无头模式下运行正常有界面时失败1. 界面加载速度慢等待时间不足。2. 窗口尺寸不同导致元素位置变化。1.增加等待时间或使用更可靠的等待条件。2.统一窗口尺寸在脚本开头设置固定的浏览器窗口大小。ElementNotInteractableException1. 元素被遮挡如弹窗、广告。2. 元素不可见display: none或visibility: hidden。3. 元素是禁用的disabled属性。1.关闭遮挡物先定位并关闭弹窗。2.等待元素可见使用EC.visibility_of_element_located(Selenium) 或wait_for_selector的state: ‘visible’(Playwright)。3.检查元素状态通过is_enabled()或get_attribute(‘disabled’)判断。页面跳转或导航后元素丢失操作导致页面刷新或跳转旧的元素引用失效。重新定位在页面跳转后必须重新使用find_element或locator获取新的元素对象。被网站检测为机器人网站通过 WebDriver 属性、鼠标移动轨迹、请求头等特征进行反爬。1.添加反检测参数Selenium 可使用options.add_argument(‘–disable-blink-featuresAutomationControlled’)。Playwright 可添加ignore_https_errors等。2.模拟人类行为添加随机延迟、模拟鼠标移动轨迹Playwright 的mouse.move()更易用。3.使用真实用户目录避免每次启动都是全新会话。6. 最佳实践与工程建议将简单的脚本升级为健壮、可维护的自动化工程需要遵循一些最佳实践。6.1 代码组织与设计模式使用 Page Object Model (POM)这是自动化测试的黄金法则。将每个页面封装成一个类页面的元素定位器和操作作为类的方法。这极大提高了代码的可读性和可维护性。# selenium_demo/pages/login_page.py from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC class LoginPage: def __init__(self, driver): self.driver driver self.wait WebDriverWait(driver, 10) # 定位器 USERNAME_INPUT (By.ID, “username”) PASSWORD_INPUT (By.ID, “password”) LOGIN_BUTTON (By.CSS_SELECTOR, “button[type‘submit’]”) # 页面操作方法 def enter_username(self, username): self.wait.until(EC.presence_of_element_located(self.USERNAME_INPUT)).send_keys(username) def enter_password(self, password): self.driver.find_element(*self.PASSWORD_INPUT).send_keys(password) def click_login(self): self.driver.find_element(*self.LOGIN_BUTTON).click() def login(self, username, password): self.enter_username(username) self.enter_password(password) self.click_login()6.2 配置管理与数据驱动分离配置将浏览器类型、超时时间、基础URL、测试数据等写入配置文件如config.yaml,.env文件。数据驱动将测试用例数据如登录名、密码存储在外部文件CSV, JSON, Excel或数据库中脚本读取数据执行实现一份脚本测试多组数据。6.3 稳定性与异常处理完善的日志使用 Python 的logging模块记录脚本运行的关键步骤、信息和错误便于事后排查。健壮的异常处理使用try...except...finally结构确保即使脚本中途失败也能正确关闭浏览器、释放资源。失败重试机制对于网络波动等临时性问题可以实现简单的重试逻辑。屏幕截图在关键步骤或失败时自动截图这是定位界面相关问题最直观的证据。# Selenium driver.save_screenshot(“error_screenshot.png”) # Playwright page.screenshot(path“error_screenshot.png”, full_pageTrue)6.4 性能与可维护性选择稳定的定位器优先使用 ID 和稳定的 CSS Selector避免使用绝对 XPath 和依赖页面结构的定位方式。合理使用等待杜绝time.sleep多用显式等待和 Playwright 的自动等待。资源清理务必在finally块或使用上下文管理器调用driver.quit()或browser.close()。版本控制将你的自动化脚本纳入 Git 等版本控制系统管理。6.5 安全与合规提醒遵守robots.txt在抓取公开数据前检查目标网站的robots.txt文件尊重网站的爬虫协议。控制访问频率在数据抓取场景中添加合理的延迟如time.sleep(random.uniform(1, 3))避免对目标服务器造成压力。合法授权自动化操作涉及登录他人系统或处理敏感数据时必须确保已获得明确授权并严格遵守相关法律法规和数据隐私政策。用于测试在测试环境中充分验证脚本尤其是涉及数据删除、状态变更的操作避免对生产环境造成影响。7. 总结与进阶方向通过本文我们系统地学习了如何让浏览器“替你干活”。从 Selenium 和 Playwright 的环境搭建、核心 API 使用到元素定位、等待机制等关键技能再到通过实战案例处理登录、下载、弹窗等复杂场景。我们还梳理了常见问题的排查思路和一系列提升脚本健壮性的最佳实践。掌握浏览器自动化你便拥有了一把提高效率的利器。无论是前端开发者进行自测后端工程师监控接口状态还是数据分析师定期采集数据这项技能都能大显身手。下一步你可以继续探索集成测试框架将 Selenium/Playwright 脚本与pytest或unittest结合搭建完整的自动化测试套件并生成漂亮的测试报告。并行执行使用pytest-xdist或 Playwright 自带的并行能力同时运行多个浏览器实例大幅缩短测试时间。容器化与 CI/CD将你的自动化脚本打包到 Docker 容器中并集成到 Jenkins、GitLab CI 或 GitHub Actions 等持续集成流水线中实现每次代码提交后的自动验证。移动端与桌面端Playwright 同样支持 Android 模拟器和桌面应用通过playwright._impl._api_structures.ViewportSize等的自动化探索更广阔的应用场景。高级反反爬策略深入研究如何更逼真地模拟人类行为以应对更复杂的反机器人检测机制。实践是学习的最佳途径。建议你从自动化一个你每天都需要手动操作的简单网页任务开始逐步增加复杂度。当你成功地将一个重复、枯燥的流程交给脚本时那种成就感便是对学习最好的回报。
最近在项目开发中经常需要重复执行一些网页操作比如定时查询数据、批量下载文件、自动填写表单等。手动操作不仅效率低下还容易出错。有没有一种工具能像写代码一样让浏览器自动完成这些繁琐的网页交互呢答案是肯定的而且它可能就藏在你的电脑里。本文要介绍的正是将浏览器从“浏览工具”转变为“自动化执行工具”的核心技术——浏览器自动化。我们将以最流行的Selenium和Playwright框架为例手把手带你从零构建一个能“替你干活”的浏览器机器人。无论你是想提升日常办公效率还是为项目开发自动化测试脚本这篇文章都能提供一套完整的闭环实操方案。1. 浏览器自动化概念、价值与核心工具在深入代码之前我们首先要理解什么是浏览器自动化以及它能为我们解决哪些实际问题。1.1 什么是浏览器自动化简单来说浏览器自动化就是通过编写程序代码来模拟真实用户对浏览器的操作。这些操作包括但不限于导航打开、关闭网页前进、后退。交互点击按钮、链接填写文本框选择下拉框。提取获取页面上特定元素的文本、属性或结构。执行运行网页中的 JavaScript 代码。控制管理 Cookies、本地存储、弹窗、标签页等。其核心价值在于将重复性、规律性的网页操作流程固化下来由程序7x24小时准确无误地执行从而将人力从枯燥的劳动中解放出来。1.2 核心应用场景自动化测试这是最经典的应用。Web 应用的 UI 功能测试、回归测试通过自动化脚本可以快速、批量执行确保每次更新后核心功能正常。数据抓取与监控定时访问特定网站抓取价格、新闻、股票等动态信息进行聚合分析。相较于简单的 HTTP 请求自动化能处理需要登录、有复杂交互如点击“加载更多”的页面。业务流程自动化自动完成一些日常办公流程如每天登录内部系统下载报表、自动提交周报、批量处理电商平台订单等。网页性能监控模拟用户访问路径监测页面加载时间、资源加载情况生成性能报告。1.3 主流工具选型Selenium vs Playwright目前最主流的两个浏览器自动化框架是Selenium和Playwright。了解它们的区别有助于我们做出合适的选择。特性SeleniumPlaywright诞生时间2004年历史悠久生态成熟2020年由微软推出较新核心架构WebDriver协议通过浏览器驱动与浏览器通信开发者工具协议直接与浏览器内核通信支持浏览器Chrome, Firefox, Edge, Safari 等Chrome, Firefox, Safari, Edge (基于Chromium)执行速度较慢更快通信效率高内置自动等待录制功能需借助 IDE 或第三方工具原生支持代码录制生成脚本非常方便移动端模拟支持但配置较复杂支持API 更友好如模拟设备、地理位置网络拦截有限支持强大支持可模拟慢速网络、拦截修改请求学习曲线平缓资料极多适中API 设计现代且一致选择建议新手入门、老项目维护、追求生态稳定选择Selenium。新项目启动、追求执行速度和开发效率、需要高级功能如录屏、网络模拟选择Playwright。本文将分别介绍两者的基础用法你可以根据需求选择学习。2. 环境准备与项目搭建工欲善其事必先利其器。我们先来搭建开发环境。本文示例将使用Python作为编程语言因为它语法简洁是自动化领域的首选语言之一。2.1 基础环境准备安装 Python确保你的电脑已安装 Python 3.7 或更高版本。可以在命令行输入python --version或python3 --version检查。安装包管理工具 pip通常随 Python 一起安装。使用pip --version检查。选择 IDE推荐使用PyCharm或VS Code它们对 Python 和自动化脚本开发支持良好。2.2 安装浏览器驱动与自动化库我们将分别创建两个项目目录来演示 Selenium 和 Playwright。项目结构规划browser-automation-demo/ ├── selenium_demo/ │ ├── main.py │ └── requirements.txt └── playwright_demo/ ├── main.py └── requirements.txt2.2.1 Selenium 环境搭建安装 Selenium 库# 在项目目录下 pip install selenium下载浏览器驱动Selenium 需要通过一个“驱动”来控制浏览器。以 Chrome 为例首先查看你电脑上 Chrome 的版本在浏览器地址栏输入chrome://version/。然后访问 ChromeDriver 官网 或国内镜像站下载与你的 Chrome主版本号完全相同的驱动。将下载的chromedriver.exe(Windows) 或chromedriver(Mac/Linux) 文件方法一推荐放在项目根目录下。方法二放在系统 PATH 环境变量包含的目录中如/usr/local/bin。2.2.2 Playwright 环境搭建Playwright 的安装更加一体化。安装 Playwright 库pip install playwright安装浏览器内核Playwright 需要安装它自己管理的浏览器。playwright install这条命令会下载 Chromium, Firefox 和 WebKit 的核心浏览器文件速度取决于网络。3. Selenium 核心实战从零控制浏览器让我们从一个最简单的例子开始用 Selenium 打开百度搜索一个关键词。3.1 基础脚本打开网页与搜索在selenium_demo/main.py中编写以下代码# 文件selenium_demo/main.py from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time # 1. 创建浏览器驱动实例 # 确保 chromedriver 在 PATH 或当前目录 driver webdriver.Chrome() # 如果驱动不在PATH可指定路径webdriver.Chrome(executable_path./chromedriver) try: # 2. 导航到目标网址 driver.get(https://www.baidu.com) print(f当前页面标题{driver.title}) # 3. 定位搜索框元素并输入内容 # 通过元素的ID属性定位这是最快最准的方式 search_box driver.find_element(By.ID, kw) search_box.send_keys(Selenium 自动化测试) # 输入文本 search_box.send_keys(Keys.RETURN) # 模拟按下回车键 # 4. 等待页面加载这里用简单休眠实际项目应用显式等待 time.sleep(3) # 5. 获取搜索结果 results driver.find_elements(By.CSS_SELECTOR, “h3 a”) # 定位所有搜索结果标题链接 print(f“找到 {len(results)} 条搜索结果”) for i, result in enumerate(results[:5], 1): # 打印前5条 print(f“{i}. {result.text}”) print(f“ 链接{result.get_attribute(‘href’)}”) finally: # 6. 关闭浏览器 # driver.close() # 关闭当前标签页 driver.quit() # 关闭整个浏览器并结束驱动进程代码解释与关键点webdriver.Chrome()初始化一个 Chrome 浏览器实例。driver.get(url)让浏览器加载指定 URL。find_element(By.ID, “kw”)通过 ID 定位页面元素。By类提供了多种定位策略ID, NAME, CLASS_NAME, TAG_NAME, LINK_TEXT, PARTIAL_LINK_TEXT, CSS_SELECTOR, XPATH。send_keys()向输入框发送键盘输入。find_elements()返回一个匹配元素的列表find_element()只返回第一个。driver.quit()非常重要必须调用此方法来清理驱动进程否则它会一直在后台运行。3.2 核心技能元素定位与等待机制元素定位和等待是 Selenium 自动化中最关键也最容易出错的环节。3.2.1 八大元素定位法# 假设页面有input id“username” name“user” class“form-input”用户名/input # 和一个链接a href“/logout”退出登录/a driver.find_element(By.ID, “username”) # 最优先使用唯一且高效 driver.find_element(By.NAME, “user”) # 常用于表单元素 driver.find_element(By.CLASS_NAME, “form-input”) # 可能不唯一需谨慎 driver.find_element(By.TAG_NAME, “input”) # 非常不精确通常用于找多个同类元素 driver.find_element(By.LINK_TEXT, “退出登录”) # 精确匹配链接文本 driver.find_element(By.PARTIAL_LINK_TEXT, “退出”) # 部分匹配链接文本 driver.find_element(By.CSS_SELECTOR, “input#username”) # 强大灵活推荐 driver.find_element(By.XPATH, “//input[id‘username’]”) # 功能最强但可能复杂最佳实践优先使用IDCSS SelectorXPath。CSS Selector 在性能和可读性上通常优于复杂的 XPath。3.2.2 三种等待方式网页元素加载需要时间直接操作未加载的元素会抛出NoSuchElementException。强制等待time.sleep(seconds)。简单粗暴但效率低下不推荐在生产脚本中使用。隐式等待driver.implicitly_wait(seconds)。设置一个全局等待时间在查找任何元素时如果元素没有立即出现会轮询等待设定的时间。缺点是会影响所有find_element操作。显式等待最推荐的方式。针对某个特定条件进行等待条件满足后立即继续执行更加智能高效。from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 等待最多10秒直到ID为‘kw’的元素出现在DOM中并可交互 wait WebDriverWait(driver, 10) search_box wait.until(EC.presence_of_element_located((By.ID, “kw”))) search_box.send_keys(“hello”) # 其他常用条件 # EC.element_to_be_clickable((By.ID, “submit”)) # 元素可点击 # EC.visibility_of_element_located((By.CLASS_NAME, “result”)) # 元素可见 # EC.title_contains(“百度”) # 页面标题包含某文字3.3 实战案例自动登录并获取数据假设我们需要登录一个演示网站例如 https://the-internet.herokuapp.com/login 然后获取登录成功后的提示信息。# 文件selenium_demo/login_demo.py from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver webdriver.Chrome() wait WebDriverWait(driver, 10) try: driver.get(“https://the-internet.herokuapp.com/login”) # 定位用户名、密码输入框和登录按钮 username_input wait.until(EC.presence_of_element_located((By.ID, “username”))) password_input driver.find_element(By.ID, “password”) login_button driver.find_element(By.CSS_SELECTOR, “button[type‘submit’]”) # 输入凭据并点击登录 username_input.send_keys(“tomsmith”) password_input.send_keys(“SuperSecretPassword!”) login_button.click() # 等待登录成功后的元素出现 success_message wait.until( EC.visibility_of_element_located((By.CSS_SELECTOR, “.flash.success”)) ) print(“登录成功提示信息”, success_message.text) # 可以继续其他操作比如点击注销 logout_button driver.find_element(By.CSS_SELECTOR, “a.button.secondary.radius”) logout_button.click() print(“已执行注销操作。”) finally: driver.quit()4. Playwright 核心实战现代自动化方案Playwright 提供了更简洁、强大的 API。我们来实现同样的百度搜索功能。4.1 基础脚本同步与异步 APIPlaywright 支持同步和异步两种编程模式。我们先看同步模式更易理解。# 文件playwright_demo/main_sync.py from playwright.sync_api import sync_playwright def run(): # 使用 sync_playwright 上下文管理器 with sync_playwright() as p: # 1. 启动浏览器默认是无头模式headlessFalse 可看到界面 browser p.chromium.launch(headlessFalse) # 改为 True 则不显示浏览器窗口 # browser p.firefox.launch() # 使用 Firefox # browser p.webkit.launch() # 使用 WebKit (Safari) # 2. 创建新页面标签页 page browser.new_page() try: # 3. 导航到百度 page.goto(“https://www.baidu.com”) print(f“页面标题{page.title()}”) # 4. 定位并操作搜索框 # Playwright 的定位器LocatorAPI 非常强大 search_box page.locator(“#kw”) # 使用CSS选择器 search_box.fill(“Playwright 自动化”) # fill() 会先清空再输入 search_box.press(“Enter”) # 按下回车 # 5. 等待导航完成Playwright 内置智能等待通常无需额外sleep page.wait_for_load_state(“networkidle”) # 等待网络基本空闲 # 6. 获取搜索结果 # 使用 locator 获取所有匹配元素 result_links page.locator(“h3 a”).all() print(f“找到 {len(result_links)} 条搜索结果”) for i, link in enumerate(result_links[:5], 1): # text_content() 获取元素内所有文本 print(f“{i}. {link.text_content()[:50]}...”) # 截取前50字符 # get_attribute() 获取属性 href link.get_attribute(“href”) if href: print(f“ 链接{href[:80]}...”) # 截断长链接 finally: # 7. 关闭浏览器 browser.close() if __name__ “__main__”: run()Playwright 优势体现locator()统一的元素定位入口支持链式调用。fill()/type()fill()直接替换输入框内容比send_keys更可靠。自动等待click(),fill(),type()等操作会自动等待元素可交互大幅减少手动等待代码。多浏览器支持一行代码切换chromium,firefox,webkit。4.2 高级功能网络拦截与模拟Playwright 的强大之处在于其深度控制能力。例如我们可以拦截网络请求修改请求或响应。# 文件playwright_demo/network_intercept.py from playwright.sync_api import sync_playwright def run(): with sync_playwright() as p: browser p.chromium.launch(headlessTrue) page browser.new_page() # 监听并拦截所有请求 def handle_request(route, request): # 打印请求的URL和方法 print(f“ {request.method} {request.url}”) # 继续原请求 route.continue_() # 监听并拦截所有响应 def handle_response(response): if “json” in response.headers.get(“content-type”, “”): # 如果是JSON响应可以在这里处理 # print(f“ {response.status} {response.url}”) pass page.route(“**/*”, handle_request) # 拦截所有请求 # page.on(“response”, handle_response) # 监听所有响应 page.goto(“https://httpbin.org/json”) print(“页面内容已加载。”) browser.close() if __name__ “__main__”: run()4.3 实战案例处理文件下载与弹窗自动化中常需处理文件下载和 JavaScript 弹窗alert, confirm, prompt。# 文件playwright_demo/handle_download_alert.py from playwright.sync_api import sync_playwright import os def run(): with sync_playwright() as p: browser p.chromium.launch(headlessFalse) # 设置下载路径并启用下载接受否则可能弹出‘保存文件’对话框 context browser.new_context(accept_downloadsTrue) page context.new_page() # ---------- 处理下载 ---------- # 监听下载事件 download_path “./downloads” os.makedirs(download_path, exist_okTrue) # 示例访问一个会触发下载的页面这里用httpbin的流式响应模拟 page.goto(“https://httpbin.org/stream-bytes/1024”) # 实际场景中可能是点击了一个下载链接或按钮 # page.click(“a#download-link”) # 等待下载开始并保存文件 with page.expect_download() as download_info: # 这里触发下载例如点击一个按钮。我们直接通过evaluate执行JS来触发一个下载。 page.evaluate(“”” () { const link document.createElement(‘a’); link.href ‘https://httpbin.org/stream-bytes/1024’; link.download ‘example.bin’; document.body.appendChild(link); link.click(); document.body.removeChild(link); } “””) download download_info.value # 指定保存路径 save_as os.path.join(download_path, download.suggested_filename) download.save_as(save_as) print(f“文件已下载到{save_as}”) # ---------- 处理弹窗 ---------- # 监听对话框alert, confirm, prompt事件 page.on(“dialog”, lambda dialog: dialog.accept()) # 自动接受所有弹窗 # 更精细的控制 # def handle_dialog(dialog): # print(f“对话框类型{dialog.type}, 消息{dialog.message}”) # if dialog.type “confirm”: # dialog.dismiss() # 取消 # else: # dialog.accept() # 接受 # page.on(“dialog”, handle_dialog) # 触发一个alert page.goto(“data:text/html,scriptalert(‘Hello Playwright!’);/script”) # 页面会自动处理弹窗 browser.close() if __name__ “__main__”: run()5. 常见问题与排查思路在编写和运行自动化脚本时你一定会遇到各种问题。下面是一些高频问题的排查指南。问题现象可能原因排查与解决思路NoSuchElementException(Selenium) 或TimeoutError(Playwright)1. 元素定位器写错了。2. 页面还没加载完就进行操作。3. 元素在 iframe 或 shadow DOM 内。4. 元素是动态生成的。1.检查定位器在浏览器开发者工具 Console 中用$()(CSS) 或$x()(XPath) 测试。2.增加等待使用显式等待 (WebDriverWait) 或 Playwright 的wait_for_selector。3.切换上下文对于 iframe使用driver.switch_to.frame()(Selenium) 或page.frame()(Playwright)。4.使用更稳定的定位避免依赖绝对 XPath 或动态生成的类名。浏览器启动失败或驱动找不到1. 浏览器驱动未安装或版本不匹配。2. 驱动文件不在 PATH 中。3. 浏览器正在运行端口冲突。1.检查版本确保浏览器与驱动版本严格匹配。2.指定路径在代码中显式提供驱动文件的绝对路径。3.关闭冲突进程结束所有残留的浏览器和驱动进程。脚本在无头模式下运行正常有界面时失败1. 界面加载速度慢等待时间不足。2. 窗口尺寸不同导致元素位置变化。1.增加等待时间或使用更可靠的等待条件。2.统一窗口尺寸在脚本开头设置固定的浏览器窗口大小。ElementNotInteractableException1. 元素被遮挡如弹窗、广告。2. 元素不可见display: none或visibility: hidden。3. 元素是禁用的disabled属性。1.关闭遮挡物先定位并关闭弹窗。2.等待元素可见使用EC.visibility_of_element_located(Selenium) 或wait_for_selector的state: ‘visible’(Playwright)。3.检查元素状态通过is_enabled()或get_attribute(‘disabled’)判断。页面跳转或导航后元素丢失操作导致页面刷新或跳转旧的元素引用失效。重新定位在页面跳转后必须重新使用find_element或locator获取新的元素对象。被网站检测为机器人网站通过 WebDriver 属性、鼠标移动轨迹、请求头等特征进行反爬。1.添加反检测参数Selenium 可使用options.add_argument(‘–disable-blink-featuresAutomationControlled’)。Playwright 可添加ignore_https_errors等。2.模拟人类行为添加随机延迟、模拟鼠标移动轨迹Playwright 的mouse.move()更易用。3.使用真实用户目录避免每次启动都是全新会话。6. 最佳实践与工程建议将简单的脚本升级为健壮、可维护的自动化工程需要遵循一些最佳实践。6.1 代码组织与设计模式使用 Page Object Model (POM)这是自动化测试的黄金法则。将每个页面封装成一个类页面的元素定位器和操作作为类的方法。这极大提高了代码的可读性和可维护性。# selenium_demo/pages/login_page.py from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC class LoginPage: def __init__(self, driver): self.driver driver self.wait WebDriverWait(driver, 10) # 定位器 USERNAME_INPUT (By.ID, “username”) PASSWORD_INPUT (By.ID, “password”) LOGIN_BUTTON (By.CSS_SELECTOR, “button[type‘submit’]”) # 页面操作方法 def enter_username(self, username): self.wait.until(EC.presence_of_element_located(self.USERNAME_INPUT)).send_keys(username) def enter_password(self, password): self.driver.find_element(*self.PASSWORD_INPUT).send_keys(password) def click_login(self): self.driver.find_element(*self.LOGIN_BUTTON).click() def login(self, username, password): self.enter_username(username) self.enter_password(password) self.click_login()6.2 配置管理与数据驱动分离配置将浏览器类型、超时时间、基础URL、测试数据等写入配置文件如config.yaml,.env文件。数据驱动将测试用例数据如登录名、密码存储在外部文件CSV, JSON, Excel或数据库中脚本读取数据执行实现一份脚本测试多组数据。6.3 稳定性与异常处理完善的日志使用 Python 的logging模块记录脚本运行的关键步骤、信息和错误便于事后排查。健壮的异常处理使用try...except...finally结构确保即使脚本中途失败也能正确关闭浏览器、释放资源。失败重试机制对于网络波动等临时性问题可以实现简单的重试逻辑。屏幕截图在关键步骤或失败时自动截图这是定位界面相关问题最直观的证据。# Selenium driver.save_screenshot(“error_screenshot.png”) # Playwright page.screenshot(path“error_screenshot.png”, full_pageTrue)6.4 性能与可维护性选择稳定的定位器优先使用 ID 和稳定的 CSS Selector避免使用绝对 XPath 和依赖页面结构的定位方式。合理使用等待杜绝time.sleep多用显式等待和 Playwright 的自动等待。资源清理务必在finally块或使用上下文管理器调用driver.quit()或browser.close()。版本控制将你的自动化脚本纳入 Git 等版本控制系统管理。6.5 安全与合规提醒遵守robots.txt在抓取公开数据前检查目标网站的robots.txt文件尊重网站的爬虫协议。控制访问频率在数据抓取场景中添加合理的延迟如time.sleep(random.uniform(1, 3))避免对目标服务器造成压力。合法授权自动化操作涉及登录他人系统或处理敏感数据时必须确保已获得明确授权并严格遵守相关法律法规和数据隐私政策。用于测试在测试环境中充分验证脚本尤其是涉及数据删除、状态变更的操作避免对生产环境造成影响。7. 总结与进阶方向通过本文我们系统地学习了如何让浏览器“替你干活”。从 Selenium 和 Playwright 的环境搭建、核心 API 使用到元素定位、等待机制等关键技能再到通过实战案例处理登录、下载、弹窗等复杂场景。我们还梳理了常见问题的排查思路和一系列提升脚本健壮性的最佳实践。掌握浏览器自动化你便拥有了一把提高效率的利器。无论是前端开发者进行自测后端工程师监控接口状态还是数据分析师定期采集数据这项技能都能大显身手。下一步你可以继续探索集成测试框架将 Selenium/Playwright 脚本与pytest或unittest结合搭建完整的自动化测试套件并生成漂亮的测试报告。并行执行使用pytest-xdist或 Playwright 自带的并行能力同时运行多个浏览器实例大幅缩短测试时间。容器化与 CI/CD将你的自动化脚本打包到 Docker 容器中并集成到 Jenkins、GitLab CI 或 GitHub Actions 等持续集成流水线中实现每次代码提交后的自动验证。移动端与桌面端Playwright 同样支持 Android 模拟器和桌面应用通过playwright._impl._api_structures.ViewportSize等的自动化探索更广阔的应用场景。高级反反爬策略深入研究如何更逼真地模拟人类行为以应对更复杂的反机器人检测机制。实践是学习的最佳途径。建议你从自动化一个你每天都需要手动操作的简单网页任务开始逐步增加复杂度。当你成功地将一个重复、枯燥的流程交给脚本时那种成就感便是对学习最好的回报。
 详解)
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
