1. 项目概述与核心价值最近在整理历年数学建模国赛的优秀论文想建立一个本地知识库方便学习和参考。直接去官网一篇篇下载效率太低而且很多获奖名单页面是动态加载的用传统的requests库配合BeautifulSoup解析静态HTML那套方法直接失效了。这时候Selenium这个浏览器自动化工具就派上了大用场。这个项目就是利用Selenium模拟真人操作浏览器自动登录、翻页、定位并下载全国大学生数学建模竞赛简称“国赛”的优秀论文PDF。这不仅仅是写个爬虫脚本那么简单它涉及到对动态网页结构的精准分析、反爬策略的温和应对以及如何将零散的文件自动化整理归档本质上是一个小型的数据采集与处理流水线。对于需要批量获取网络公开学术资源的研究者、学生或者任何需要处理JavaScript渲染页面的开发者这个思路和具体实现都有直接的参考价值。2. 技术选型与思路拆解2.1 为什么是Selenium而不是Requests这是首先要厘清的问题。国赛优秀论文的发布页面例如一些大学的竞赛成果展示网站或专门的论文公示平台其列表数据很可能通过Ajax技术动态加载。当你用requests.get()拿到页面源代码时看到的只是一个空的框架容器真正的论文链接和标题都是由后续的JavaScript脚本填充的。BeautifulSoup再厉害也无法解析出不存在于初始HTML中的内容。Selenium的工作方式完全不同。它通过WebDriver驱动一个真实的浏览器如Chrome、Firefox内核完整地执行页面中的所有JavaScript代码渲染出最终用户看到的完整DOM树。然后我们再通过Selenium提供的方法如find_element去定位元素、获取属性、模拟点击就像有一个看不见的手在帮你操作电脑一样。因此对于重度依赖JavaScript渲染的动态网站Selenium是无可替代的选择。当然它的代价是速度慢、资源占用高但这对于以获取数据为目的、频率不高的爬取任务来说是完全可接受的。2.2 整体爬取策略设计面对一个目标网站我们不能一上来就写代码。合理的策略能避免很多坑。我的核心思路是“模拟人的浏览路径”人工探索路径首先手动在目标网站上走一遍完整的流程打开首页 - 找到“优秀论文”或“获奖作品”入口 - 观察列表是如何分页的是“下一页”按钮还是滚动加载- 点击一篇论文看是如何打开或下载PDF的是新标签页打开还是直接弹出下载对话框。关键节点定位在人工操作时利用浏览器的开发者工具F12仔细查看目标元素的HTML特征。比如“下一页”按钮的id或class是什么每一篇论文的标题和链接包裹在什么标签里通常是a标签PDF链接是直接指向.pdf文件的href还是一个需要再次点击的预览页面链接反爬应对考量国赛官网这类教育站点一般反爬不严但基本的礼貌要有。需要在代码中设置合理的等待时间使用WebDriverWait进行显式等待避免请求过快被识别为攻击。可以考虑随机化操作间隔模拟人类的不确定性。一般不需要使用代理IP但如果你需要极高频爬取这是一个备选方案。基于以上分析我设计的流程是启动浏览器 - 访问目标列表页 - 解析当前页所有论文条目 - 提取标题和链接 - 处理并下载PDF - 点击“下一页” - 循环直至结束。3. 核心工具准备与环境搭建3.1 Selenium与WebDriver的部署这里以最常用的Chrome浏览器为例。首先通过pip安装Selenium库pip install selenium其次也是最关键的一步下载与你的Chrome浏览器版本匹配的ChromeDriver。不匹配的版本会导致启动失败。在Chrome浏览器地址栏输入chrome://settings/help查看你的Chrome版本号。访问ChromeDriver的官方镜像站如 https://chromedriver.chromium.org/ 或国内镜像源下载对应版本号的驱动。将下载的chromedriver.exe文件放在一个固定目录并将该目录添加到系统的环境变量PATH中。更简单的做法是在Python代码中指定驱动文件的绝对路径。注意浏览器会自动更新但ChromeDriver不会。如果某天脚本突然报错提示版本不匹配第一个要检查的就是Chrome浏览器是否升级了需要重新下载对应版本的驱动。3.2 基础代码框架与浏览器启动选项一个健壮的爬虫脚本从浏览器启动配置开始就要考虑周全。下面是一个基础的启动模板包含了一些常用且重要的选项。from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time import os # 配置Chrome选项 chrome_options Options() # 无头模式不显示浏览器图形界面节省资源适合在服务器运行。 # chrome_options.add_argument(--headless) # 禁用GPU加速避免在某些环境下出现问题 chrome_options.add_argument(--disable-gpu) # 禁用浏览器正在被自动化程序控制的提示 chrome_options.add_experimental_option(excludeSwitches, [enable-automation]) chrome_options.add_experimental_option(useAutomationExtension, False) # 设置下载行为指定下载路径并禁止下载弹窗 prefs { download.default_directory: rD:\MathModeling_Papers, # 修改为你的本地路径 download.prompt_for_download: False, download.directory_upgrade: True, plugins.always_open_pdf_externally: True # 对于PDF直接下载而不预览 } chrome_options.add_experimental_option(prefs, prefs) # 指定ChromeDriver路径 driver_path rC:\path\to\your\chromedriver.exe # 修改为你的驱动路径 service Service(executable_pathdriver_path) # 启动浏览器 driver webdriver.Chrome(serviceservice, optionschrome_options) driver.maximize_window() # 最大化窗口有时元素定位需要 # 设置一个全局的显式等待对象超时时间10秒 wait WebDriverWait(driver, 10)这个模板做了几件重要的事一是通过prefs配置了默认下载路径让PDF能自动保存到指定文件夹这是实现全自动化的关键一步二是通过excludeSwitches选项隐藏了自动化特征虽然对国赛网站可能没必要但这是一个好习惯三是创建了WebDriverWait对象后面我们会大量使用它来等待元素出现这是编写稳定爬虫的核心技巧。4. 目标页面分析与元素定位实战4.1 解析列表页结构假设我们的目标页面是一个典型的列表页URL可能是http://example.com/competition/papers?page1。我们需要找到两个最关键的元素论文条目列表和翻页按钮。打开目标页面按F12进入开发者工具使用元素选择器箭头图标去点击一篇论文的标题或链接。你会发现它可能在一个div classpaper-item里或者是一个tr。关键是找到包裹每个论文信息的重复出现的HTML结构。例如结构可能是这样的div classlist div classitem a href/paper/view/12345 target_blank2020年国赛A题一等奖基于XXX的研究/a span classauthor团队张三李四王五/span /div div classitem a href/paper/view/123462019年国赛B题特等奖YYY模型的应用/a span classauthor团队赵六孙七/span /div !-- ... 更多条目 -- /div div classpagination a classnext下一页/a /div我们的任务就是用Selenium定位到所有具有classitem的div元素。4.2 使用多种定位策略精准抓取Selenium提供了丰富的定位方式。绝对不要只依赖一种因为网页结构可能会变。# 假设我们已经用 driver.get(url) 打开了列表页 # 方法1通过CLASS_NAME定位所有论文条目最直接 paper_items driver.find_elements(By.CLASS_NAME, item) # 方法2通过CSS_SELECTOR定位更灵活强大 paper_items driver.find_elements(By.CSS_SELECTOR, .list .item) # 或者更精确的 div.list div.item # 方法3通过XPATH定位功能最强但可能较脆弱 paper_items driver.find_elements(By.XPATH, //div[classlist]/div[classitem]) for item in paper_items: # 在每一个item元素内继续定位标题链接和作者 # 使用相对定位从item这个WebElement对象出发 title_elem item.find_element(By.TAG_NAME, a) paper_title title_elem.text paper_url title_elem.get_attribute(href) author_elem item.find_element(By.CLASS_NAME, author) paper_author author_elem.text if author_elem else 未知 print(f标题{paper_title}, 链接{paper_url}, 作者{paper_author})实操心得优先使用CSS_SELECTOR它的语法简洁性能通常优于XPATH。CLASS_NAME和ID虽然快但一旦前端样式调整就容易失效。定位元素时一定要利用浏览器的开发者工具“Copy - Copy selector”或“Copy - Copy XPath”功能来辅助但不要完全照搬生成的复杂绝对路径它们往往非常脆弱。应该自己分析结构编写相对简洁、健壮的选择器。4.3 处理动态加载与显式等待动态加载的页面元素不是立即出现的。如果你在页面刚加载完就执行find_element很可能会抛出NoSuchElementException。必须使用显式等待。from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 等待论文列表容器出现 list_container wait.until( EC.presence_of_element_located((By.CLASS_NAME, list)) ) print(列表容器已加载) # 等待至少一个论文条目出现 wait.until( EC.presence_of_all_elements_located((By.CSS_SELECTOR, .list .item)) ) print(论文条目已加载) # 然后再进行查找 paper_items driver.find_elements(By.CSS_SELECTOR, .list .item)WebDriverWait会每隔一段时间默认0.5秒检查一次条件是否成立直到超时这里设为10秒。EC.presence_of_element_located表示“元素出现在DOM树中”而EC.visibility_of_element_located要求元素“可见”。对于列表通常用presence即可。对于需要点击的按钮最好用visibility或element_to_be_clickable。5. 自动化翻页与循环控制5.1 识别并点击翻页元素翻页逻辑是爬虫循环的驱动器。你需要找到“下一页”按钮或链接并判断何时停止。def go_to_next_page(): 尝试跳转到下一页成功返回True失败如已是最后一页返回False try: # 定位下一页按钮。可能是 a classnext也可能是 li classnext-page具体看网站 next_button wait.until( EC.element_to_be_clickable((By.CSS_SELECTOR, .pagination .next, a:contains(下一页))) ) # 有些网站下一页按钮在不可点击时会添加 disabled 类 if disabled in next_button.get_attribute(class): print(已是最后一页) return False # 滚动到元素位置确保可点击 driver.execute_script(arguments[0].scrollIntoView();, next_button) time.sleep(0.5) # 短暂等待滚动完成和可能的动画 next_button.click() print(已点击下一页) # 等待新页面内容加载。通常可以等待列表容器刷新或旧的条目消失再出现 wait.until(EC.staleness_of(paper_items[0] if paper_items else list_container)) time.sleep(1) # 额外等待1秒确保数据加载稳定 return True except Exception as e: # 如果找不到下一页按钮或者点击后无反应也认为是最后一页 print(f翻页失败或已是最后一页: {e}) return False # 主循环示例 current_page 1 max_pages 10 # 设置一个最大页数防止无限循环 while current_page max_pages: print(f正在处理第 {current_page} 页...) # 1. 解析当前页所有论文信息存入一个列表 papers_on_current_page parse_current_page() # 假设这个函数实现了第4步的解析 # 2. 遍历列表下载每一篇论文 for paper_info in papers_on_current_page: download_paper(paper_info) # 假设这个函数负责下载 # 3. 尝试翻页 if not go_to_next_page(): break # 翻页失败退出循环 current_page 1 time.sleep(2) # 翻页后等待一段时间模拟人工操作避免请求过快5.2 更稳健的翻页策略URL模式识别有些网站的翻页是通过改变URL参数实现的例如?page1,?page2。对于这种网站直接构造URL并访问可能比模拟点击更简单、更稳定。base_url http://example.com/competition/papers?page page_num 1 while True: current_url base_url str(page_num) driver.get(current_url) # 等待页面加载 try: wait.until(EC.presence_of_element_located((By.CLASS_NAME, list))) except: # 如果列表元素一直不出现可能该页不存在如超过最大页数 print(f第 {page_num} 页可能不存在或加载超时停止爬取。) break # 检查页面是否为空例如显示“暂无数据”的提示 empty_indicator driver.find_elements(By.XPATH, //*[contains(text(), 暂无) or contains(text(), No Data)]) if empty_indicator: print(f第 {page_num} 页内容为空停止爬取。) break # 解析和下载当前页内容... parse_and_download() page_num 1 time.sleep(2)这种方法避免了寻找和点击翻页按钮的复杂性但前提是你能发现URL的规律。6. PDF下载与文件管理自动化6.1 处理PDF链接与下载弹窗论文链接可能指向一个在线预览页也可能直接是一个PDF文件。我们需要区分处理。情况一链接直接指向PDF这是最简单的情况。我们已经在浏览器选项中设置了plugins.always_open_pdf_externally: True所以当Selenium访问一个.pdf链接时浏览器会直接触发下载到预设目录而不会打开预览。我们只需要获取到这个链接并访问它。def download_direct_pdf(pdf_url, save_filename): 访问直接的PDF链接进行下载 driver.get(pdf_url) # 由于设置了自动下载这里不需要额外操作。 # 但可以加一个短暂等待确保下载请求已发起。 time.sleep(1) print(f已发起下载: {save_filename}) # 注意此时文件正在下载但Python代码并不知道何时完成。情况二链接指向一个预览页面预览页面上通常有一个“下载”按钮。我们需要先导航到这个页面然后找到并点击下载按钮。def download_from_preview_page(paper_page_url, save_filename): 从论文预览页面找到并点击下载按钮 driver.get(paper_page_url) try: # 等待并定位下载按钮它的选择器需要你手动分析 download_btn wait.until( EC.element_to_be_clickable((By.XPATH, //button[contains(text(), 下载)])) ) download_btn.click() print(f已点击预览页下载按钮: {save_filename}) time.sleep(2) # 等待下载触发 except Exception as e: print(f在页面 {paper_page_url} 上找不到下载按钮: {e})6.2 文件重命名与组织浏览器自动下载的文件名通常是混乱的如view.pdf、download.pdf。我们必须根据论文信息对其进行重命名。思路是在发起下载前或后我们已知论文标题、年份、奖项等信息。我们可以用这些信息构造一个规范的文件名。但难点在于如何将“刚刚发起的下载”与“我们想要的文件名”关联起来一个可靠但不完美的方法是监控下载目录找到最新创建或修改的PDF文件然后将其重命名。import os import glob import time def rename_latest_pdf(download_dir, new_filename): 重命名下载文件夹中最新的PDF文件。 注意这假设在调用此函数前的短时间内只有一个PDF文件被下载。 # 确保新文件名有.pdf后缀 if not new_filename.endswith(.pdf): new_filename .pdf # 等待一小段时间确保下载已开始/完成 time.sleep(3) # 列出目录下所有PDF文件按最后修改时间排序 list_of_pdfs glob.glob(os.path.join(download_dir, *.pdf)) if not list_of_pdfs: print(f在 {download_dir} 中未找到PDF文件。) return False # 获取最新的文件 latest_pdf max(list_of_pdfs, keyos.path.getmtime) # 构造新文件的完整路径 new_filepath os.path.join(download_dir, new_filename) # 如果目标文件名已存在可以先删除或添加后缀避免冲突 if os.path.exists(new_filepath): base, extension os.path.splitext(new_filename) timestamp int(time.time()) new_filepath os.path.join(download_dir, f{base}_{timestamp}{extension}) # 重命名文件 os.rename(latest_pdf, new_filepath) print(f文件已重命名: {os.path.basename(latest_pdf)} - {os.path.basename(new_filepath)}) return True # 在下载函数中调用 def download_paper(paper_info): title paper_info[title] year paper_info[year] # 需要从页面信息中提取 # 清理文件名中的非法字符Windows下 safe_title .join(c for c in title if c.isalnum() or c in ( , -, _)).rstrip() new_filename f{year}_{safe_title}.pdf if paper_info[url].endswith(.pdf): download_direct_pdf(paper_info[url], new_filename) else: download_from_preview_page(paper_info[url], new_filename) # 尝试重命名 rename_latest_pdf(rD:\MathModeling_Papers, new_filename)重要警告这种方法在高速连续下载时并不可靠因为可能无法准确匹配“哪个文件是哪次下载的”。对于生产环境更推荐的方法是使用浏览器驱动的高级能力如Chrome DevTools Protocol来监听下载事件或者使用requests库直接获取PDF二进制流并保存——但这需要你能直接从网络请求中找到真实的PDF地址有时在动态网站中这很困难。对于本项目这种中低速、顺序的爬取上述“监控最新文件”的方法在增加了足够的等待时间后通常是可行的。7. 完整脚本架构与异常处理7.1 主程序逻辑整合将上述所有模块整合起来形成一个结构清晰、可维护的脚本。import os, time, glob from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options class NationalContestPaperCrawler: def __init__(self, download_dir, driver_path): self.download_dir download_dir self.driver_path driver_path self.driver None self.wait None self._init_browser() def _init_browser(self): chrome_options Options() # chrome_options.add_argument(--headless) chrome_options.add_argument(--disable-gpu) chrome_options.add_experimental_option(excludeSwitches, [enable-automation]) chrome_options.add_experimental_option(useAutomationExtension, False) prefs { download.default_directory: self.download_dir, download.prompt_for_download: False, plugins.always_open_pdf_externally: True } chrome_options.add_experimental_option(prefs, prefs) service Service(executable_pathself.driver_path) self.driver webdriver.Chrome(serviceservice, optionschrome_options) self.driver.maximize_window() self.wait WebDriverWait(self.driver, 15) # 设置稍长的全局等待 def parse_list_page(self): 解析当前列表页返回论文信息字典列表 papers [] try: # 等待并获取所有论文条目 items self.wait.until( EC.presence_of_all_elements_located((By.CSS_SELECTOR, .list .item)) ) for item in items: try: title_elem item.find_element(By.TAG_NAME, a) title title_elem.text url title_elem.get_attribute(href) # 可以尝试提取更多信息如年份、奖项等 # year extract_year_from_title(title) # 需要自己实现 if title and url: papers.append({title: title, url: url}) except Exception as e: print(f解析单个条目时出错: {e}) continue except Exception as e: print(f解析列表页时出错: {e}) return papers def download_and_rename(self, paper_info, index_on_page): 下载一篇论文并重命名 safe_title self._sanitize_filename(paper_info[title]) # 为了避免命名冲突可以加上页码和序号 new_filename fPage{current_page:03d}_{index_on_page:02d}_{safe_title}.pdf new_filepath os.path.join(self.download_dir, new_filename) # 如果文件已存在跳过下载 if os.path.exists(new_filepath): print(f文件已存在跳过: {new_filename}) return # 记录下载前的目录文件状态 files_before set(glob.glob(os.path.join(self.download_dir, *.pdf))) # 执行下载操作 if paper_info[url].endswith(.pdf): self.driver.get(paper_info[url]) else: self._handle_preview_page(paper_info[url]) # 等待并识别新下载的文件 downloaded_file self._wait_for_new_file(files_before, timeout30) if downloaded_file: os.rename(downloaded_file, new_filepath) print(f成功下载并重命名: {new_filename}) else: print(f下载失败或未检测到新文件: {paper_info[title]}) def _wait_for_new_file(self, files_before_set, timeout30): 等待新文件出现返回其路径 start_time time.time() while time.time() - start_time timeout: time.sleep(1) files_after_set set(glob.glob(os.path.join(self.download_dir, *.pdf))) new_files files_after_set - files_before_set if new_files: # 返回最新的那个文件按修改时间 return max(new_files, keyos.path.getmtime) return None def _sanitize_filename(self, filename): 清理文件名中的非法字符 import re # 移除非法字符替换空格为下划线 filename re.sub(r[:/\\|?*], , filename) filename filename.replace( , _) # 限制长度Windows路径最大260字符留有余地 if len(filename) 200: filename filename[:200] return filename def run(self, start_url, max_pages50): 主运行函数 self.driver.get(start_url) current_page 1 while current_page max_pages: print(f\n 开始处理第 {current_page} 页 ) # 解析当前页 papers self.parse_list_page() if not papers: print(当前页未解析到论文可能已到末尾或页面结构有变。) break print(f本页共找到 {len(papers)} 篇论文。) # 逐篇下载 for idx, paper in enumerate(papers, 1): print(f正在处理本页第 {idx}/{len(papers)} 篇: {paper[title][:50]}...) self.download_and_rename(paper, idx) time.sleep(3) # 每篇之间间隔避免请求过快 # 翻页 if not self._go_to_next_page(): print(无法翻页爬取结束。) break current_page 1 time.sleep(5) # 翻页后等待 print(\n爬取任务全部完成) def _go_to_next_page(self): 翻页逻辑根据实际网站实现 # 这里需要你根据目标网站的具体结构来编写 # 可能是点击按钮也可能是构造URL # 返回True成功False失败 pass def close(self): if self.driver: self.driver.quit() # 使用示例 if __name__ __main__: DOWNLOAD_DIR rD:\MathModeling_Papers DRIVER_PATH rC:\tools\chromedriver.exe START_URL http://example.com/competition/papers # 替换为真实起始页 crawler NationalContestPaperCrawler(DOWNLOAD_DIR, DRIVER_PATH) try: crawler.run(START_URL, max_pages10) finally: crawler.close()7.2 常见异常与稳定性加固在实际爬取中你会遇到各种意外。一个健壮的爬虫必须能处理它们。元素定位失败这是最常见的异常。网站改版、加载缓慢、元素属性变化都会导致。对策使用更通用的CSS选择器使用try...except包裹find_element调用失败后记录日志并跳过而不是让整个程序崩溃增加WebDriverWait的超时时间。弹窗或广告遮挡突然弹出的登录框、广告窗会挡住目标元素。对策在关键操作前可以尝试执行JavaScript关闭已知的弹窗。例如try: popup driver.find_element(By.CLASS_NAME, ad-close) popup.click() except: pass # 没有弹窗就继续网络波动或页面加载超时driver.get()可能因为网络问题一直卡住。对策设置页面加载超时时间。driver.set_page_load_timeout(30) # 30秒后停止加载 try: driver.get(url) except TimeoutException: print(f页面 {url} 加载超时继续下一个) driver.execute_script(window.stop();) # 停止加载下载文件识别错误在连续快速下载时“监控最新文件”的方法可能把A文件匹配到B论文。对策这是该方法固有的缺陷。缓解方法是严格顺序执行并在每篇论文下载后增加足够的等待时间例如5-10秒确保前一个下载完全完成后再开始下一个。对于至关重要的任务必须寻找更精确的监听下载事件的方法。被网站识别为爬虫虽然国赛网站概率低但一些防护措施严格的网站可能会封IP或要求验证码。对策除了之前提到的设置等待时间、使用无头模式还可以随机化User-Agent但Selenium的User-Agent特征较明显或者考虑在每一步操作中加入更人性化的随机延迟如time.sleep(random.uniform(1, 3))。最根本的方法是尊重网站的robots.txt控制爬取速度和总量。8. 数据整理与后续应用建议爬取下来的PDF文件按照年份_标题的格式命名已经具备了初步的条理性。但这只是第一步要让这些数据产生更大价值还可以做以下工作元数据提取与建库使用Python的PyPDF2或pdfplumber库读取PDF文件尝试提取摘要、关键词、作者单位等元数据存入CSV或SQLite数据库。这样你就可以实现按年份、按题目关键词、按奖项进行搜索和筛选。内容分析与文本挖掘对于研究数学建模方法论的你可以进一步使用自然语言处理技术对所有论文的正文进行分词、词频统计、主题模型分析如LDA找出历年国赛题目的热点研究方法和模型变迁。构建本地搜索引擎利用whoosh或Elasticsearch等工具为所有PDF文件建立全文索引。这样你就可以像使用百度一样快速从海量论文中找到提及“灰色预测”、“模拟退火”、“神经网络”等具体方法的章节。自动化知识图谱构建更进阶的做法是从论文中抽取实体模型、算法、问题和关系用于、改进、对比构建一个数学建模领域的知识图谱可视化地展示不同模型之间的关联和应用场景。这个基于Selenium的爬虫项目就像一把钥匙帮你打开了获取结构化数据的大门。门后的世界如何布置取决于你的具体需求和想象力。从自动化收集到智能化分析每一步都充满了技术挑战和实践乐趣。我在实际运行这个脚本时最大的体会就是“慢就是快”——在代码中精心添加的每一个等待、每一次异常处理都让脚本在长达数小时甚至数天的无人值守运行中更加可靠。与其追求极致的速度然后因为一个意外的弹窗而前功尽弃不如让爬虫像个耐心的学者稳健地、一页一页地把宝贵的知识搬回家。