每天打开 arXiv 刷一遍最新提交收藏几篇看起来相关的文章然后合上浏览器继续干活。等到写综述或开题的时候才发现那些“当时觉得有用”的论文躺在收藏夹里PDF 散落在下载目录有些连标题都记不全。这不是个例而是很多研究人员和技术阅读者的常态。文献管理的真正痛点不是“下载”这个动作而是“从发现到入库”这条链路太碎浏览是一处收藏是一处下载是一处最后阅读又是另一处。碎片一旦多起来文献资产就变成了一堆没有结构的文件。这篇文章要解决的问题很明确把arXiv 的论文发现、筛选、元数据提取、入库 Zotero、自动抓 PDF、同步到多端这条链路用一套自动巡检流水线串起来。你只需要做最需要判断力的部分——决定哪些文献值得精读。文章会从概念讲清楚给出完整可复制的 Python 脚本再讲 Zotero 配置、定时任务和常见坑。1. 为什么要做文献自动巡检先讲清楚痛点1.1 科研工作流中真正消耗时间的环节一篇论文从“出现”到“被读进脑子里”一般经过四个阶段发现、筛选、入库、精读。发现和筛选是最需要判断力的环节但现实是大多数人的时间浪费在了“入库”这个机械环节上。看到一篇论文要手动下载 PDF、手动改名、手动填作者和年份、手动拖进某个文件夹。一篇两篇还好如果每周都要处理 20 到 50 篇这个动作就会累积成相当可观的时间损耗。更重要的是人工入库还容易产生“信息断层”PDF 下载了但引文信息不完整标题复制了但 DOI 丢了当时觉得重要三个月后根本想不起来它为什么被收藏。这些问题的本质是元数据没有和 PDF 一起被系统化管理。1.2 手工巡检的三大问题第一个问题是时效性差。arXiv 每天都有大量新提交靠人工去刷很容易漏掉和自己研究方向相关的论文。尤其当关键词比较偏、论文标题不够直白时人工巡检的遗漏率会更高。第二个问题是一致性差。不同时间下载的论文命名风格完全看心情有的是标题有的是会议名加年份还有的干脆就是一串乱码。等到需要用引用工具导出参考文献时就会发现一半条目缺失作者、缺失年份甚至缺失期刊名。第三个问题是心智负担重。你永远有一件“待办”悬在脑子里今天的 arXiv 还没刷昨天那篇论文还没存前天那篇的 PDF 还没下载。这些琐碎任务占用的不是时间是注意力。1.3 自动巡检流水线解决什么、不解决什么自动巡检流水线解决的问题是把“发现到入库”这个环节尽量变成无人值守定时拉取 arXiv 论文列表按关键词过滤自动生成 Zotero 可识别的条目文件导入后由 Zotero 自动抓取 PDF再通过 WebDAV 同步到手机和平板。但它不解决“判断”问题哪些论文值得精读、哪些方向值得跟进、哪些工作存在缺陷这些仍然要人来判断。自动化的价值恰恰是把时间和注意力还给判断本身。2. 核心概念arXiv、Zotero 与流水线模型2.1 arXiv 与它的开放 APIarXiv 是学术界最常用的预印本平台很多计算机、物理、数学领域的论文在正式发表前都会先上传到 arXiv。对自动化工具来说arXiv 最大的价值不是网页本身而是它提供了开放的 API 接口。通过http://export.arxiv.org/api/query可以用 HTTP 请求的方式查询论文标题、作者、摘要、发布时间、PDF 链接、DOI 等元数据返回格式是标准的 Atom XML。这意味着我们不需要模拟浏览器操作也不需要解析复杂的 HTML 页面写一个几十行的 Python 脚本就能完成批量抓取。这一点是整个流水线的地基。如果 arXiv 没有开放 API自动巡检的成本会高得多。2.2 Zotero 的条目—附件模型Zotero 是一款开源文献管理工具它的核心设计是“条目 附件”模型。条目Item保存论文的元数据比如标题、作者、期刊、DOI附件Attachment保存 PDF 等实际文件。两者通过条目 ID 关联可以一起被检索、引用和同步。理解这个模型很重要因为人工管理文献时最容易犯的错就是只保存了 PDF却没有保存完整的元数据。Zotero 的做法恰恰相反先把元数据抓进来再让 PDF 作为附件挂到条目下面。这样无论什么时候导出参考文献信息都不会缺。Zotero 支持的同步方式主要有两种官方存储空间和 WebDAV。官方存储需要付费扩容WebDAV 则可以搭配坚果云、Nextcloud 等第三方服务使用免费且容量可控。2.3 三层流水线抓取、加工、入库“流水线”这个词很容易让人联想到工厂里的传送带。放在文献管理的语境里它指的是一个结构化的数据处理流程抓取层负责从 arXiv API 拉取原始 XML 数据并解析成结构化 JSON。加工层负责过滤、去重、转换格式最终生成 Zotero 能识别的 RIS 文件或者直接调用 Zotero API 创建条目。入库层负责把加工后的结果写入 Zotero 数据库触发 PDF 抓取再同步到多端设备。这种分层设计和 Dify 知识库里的文档清洗流水线逻辑相似上游只关心数据获取中间层只关心数据转换下游只关心最终写入。每一层独立替换成本才低。3. 流水线整体架构与选型3.1 流水线的完整链路整套流水线可以拆成下面这条链路定时任务触发 → Python 脚本请求 arXiv API → 解析并过滤论文 → 生成 RIS 文件或调用 Zotero API→ Zotero 导入条目 → Zotero 自动抓取 PDF → WebDAV 同步到多端。定时任务这一步Windows 上可以使用“任务计划程序”macOS 和 Linux 上可以使用 cron。脚本负责处理“抓取”和“加工”Zotero 负责“入库”和“同步”两者职责划分非常清楚。3.2 关键技术选型语言Python 3生态成熟处理 Atom XML 和 JSON 很顺手。请求库requests发送 HTTP 请求feedparser解析 Atom XML。Zotero 交互方式优先生成 RIS 文件手动导入适合保守场景如果需要完全自动可以用pyzotero直接操作 Web API。同步方案WebDAV搭配坚果云或自建 Nextcloud不依赖 Zotero 官方存储。插件层Translate for Zotero 做翻译Better BibTeX 做引用键管理Unpaywall 或 Zotero 自带功能帮忙找 PDF。3.3 一个容易踩的误区不要一上来就追求全自动很多人看到“自动巡检”就想着把整套流程全部自动化连导入 Zotero 这一步都想让脚本直接操作 API。这种方案可行但初期不建议。原因是Zotero Web API 和本地客户端的数据同步存在延迟操作 API 创建条目后可能过一段时间才能在客户端看到而且如果脚本写得不严谨容易在数据库里生成大量重复、残缺的条目。相比之下生成 RIS 文件交给 Zotero 手动导入虽然多一步操作但可控性强遇到问题容易定位。所以这篇文章的推荐路线是抓取和加工全自动导入采用“半自动”——脚本生成标准文件Zotero 负责导入。跑成熟之后再考虑用 API 做深度自动化。4. 环境准备与前置配置4.1 需要安装的软件与依赖本地开发环境建议如下具体版本请以实际安装为准本文演示的是通用思路。操作系统Windows 10/11、macOS 或 Linux 均可。Python 3.9 及以上版本。Zotero 6 或 Zotero 7 客户端。浏览器插件 Zotero Connector可选但建议安装。安装 Python 依赖pip install requests feedparser pyzotero如果你的环境对 pip 安装有代理或镜像要求请自行配置这里不展开。4.2 Zotero 基础配置首次安装 Zotero 后建议先完成以下基础设置打开 Zotero进入“编辑 → 设置”Windows或“Zotero → 设置”macOS。在“同步”选项卡中关联 Zotero 账号。在“常规”中确认数据目录位置建议不要放在 C 盘系统目录避免重装系统时丢失。Zotero 7 之后插件管理更加方便。进入“工具 → 插件”可以看到插件市场入口也可以从本地安装.xpi后缀的插件文件。下面几个插件在文献工作流中非常常用Translate for Zotero提供划词翻译支持多引擎。Better BibTeX生成稳定的引用键方便 LaTeX / Markdown 引用。Zotero DOI Manager批量补充和校验 DOI 信息。Unpaywall自动查找合法开放获取的 PDF 全文。4.3 WebDAV 文件同步配置Zotero 的附件同步推荐使用 WebDAV。以坚果云为例登录坚果云网页端进入“账户信息 → 安全选项”。创建一个应用密码注意不是登录密码。在 Zotero 的“设置 → 同步 → 文件同步”中选择“WebDAV”。填写服务器地址例如https://dav.jianguoyun.com/dav/zotero用户名填坚果云邮箱密码填应用密码。点击“验证服务器”提示成功后再保存。如果使用自建 NextcloudWebDAV 地址一般是https://你的域名/remote.php/dav/files/用户名/zotero具体以服务商文档为准。这里要特别提醒WebDAV 密码验证失败是最常见的同步问题。后面常见问题章节会专门排查。4.4 Zotero 插件推荐与安装插件安装方式有两种一是在 Zotero 插件市场中直接搜索安装二是从官网或 GitHub Releases 下载.xpi文件然后在“工具 → 插件 → 齿轮图标 → Install Plugin From File”中安装。安装插件后建议重启 Zotero。部分插件需要额外配置翻译引擎或 API Key配置入口一般在“设置 → 翻译”或插件自己的首选项里。5. 核心代码实现三步打通 arXiv 到 Zotero5.1 第一步用 Python 抓取 arXiv 论文元数据新建文件fetch_arxiv.py脚本作用是通过 arXiv API 查询当天或最近提交的论文解析后保存为 JSON 文件。# 文件路径fetch_arxiv.py import feedparser import json from datetime import datetime, timedelta QUERY all:large language model OR all:LLM MAX_RESULTS 20 BASE_URL https://export.arxiv.org/api/query def fetch_arxiv(query: str, max_results: int 20) - list: # 按提交时间倒序取最新论文 params ( fsearch_query{query} fstart0max_results{max_results} fsortBysubmittedDatesortOrderdescending ) feed feedparser.parse(f{BASE_URL}?{params}) papers [] for entry in feed.entries: papers.append({ title: entry.title.replace(\n, ).strip(), authors: [author.name for author in entry.authors], published: entry.published, updated: entry.updated, summary: entry.summary.replace(\n, ).strip()[:500], url: entry.link, pdf_url: entry.link.replace(/abs/, /pdf/), doi: , }) return papers if __name__ __main__: papers fetch_arxiv(QUERY, MAX_RESULTS) with open(arxiv_results.json, w, encodingutf-8) as f: json.dump(papers, f, ensure_asciiFalse, indent2) print(f抓取完成共 {len(papers)} 篇论文结果已保存到 arxiv_results.json)这段脚本做了三件事用feedparser.parse()解析 arXiv API 返回的 Atom XML。从每条 entry 中提取标题、作者、发布时间、摘要、原文链接和 PDF 链接。把结果保存为结构化的 JSON 文件方便下一步处理。运行python fetch_arxiv.py如果网络正常你会在当前目录看到arxiv_results.json。你可以用任意编辑器打开查看里面应该有完整的论文元数据。这里有一个可以优化的点doi字段目前留空因为 arXiv API 的返回格式在不同版本中有差异。如果抓取结果里存在 DOI可以在循环中解析entry.get(arxiv_doi, )或者后续用 Zotero DOI Manager 插件统一补齐。5.2 第二步生成 RIS 文件供 Zotero 导入RIS 是文献管理工具通用的文件格式Zotero 原生支持导入。新建文件generate_ris.py# 文件路径generate_ris.py import json def json_to_ris(papers: list) - str: lines [] for item in papers: lines.append(TY - ELEC) lines.append(fT1 - {item[title]}) lines.append(fUR - {item[url]}) lines.append(PB - arXiv) lines.append(fPY - {item[published][:4]}) lines.append(fDA - {item[published][:10]}) for author in item[authors]: lines.append(fAU - {author}) if item.get(doi): lines.append(fDO - {item[doi]}) lines.append(fAB - {item[summary]}) lines.append(ER - ) lines.append() return \n.join(lines) if __name__ __main__: with open(arxiv_results.json, r, encodingutf-8) as f: papers json.load(f) ris json_to_ris(papers) with open(arxiv_import.ris, w, encodingutf-8) as f: f.write(ris) print(RIS 文件生成完毕arxiv_import.ris共 %d 条 % len(papers))运行python generate_ris.py然后打开 Zotero选择“文件 → 导入”选中arxiv_import.risZotero 会根据 RIS 中的UR字段自动尝试抓取网页快照和 PDF。如果导入时没有自动抓取 PDF可以在 Zotero 中选中条目右键选择“找到可用 PDF”。5.3 第三步将条目导入 Zotero 并自动获取 PDF如果不想每次都打开 Zotero 手动导入可以改用pyzotero直接调用 Zotero Web API 创建条目。这种方式适合已经申请了 API Key 的进阶用户。# 文件路径import_to_zotero.py from pyzotero import zotero LIBRARY_ID 你的Zotero用户ID LIBRARY_TYPE user API_KEY 你的API Key zot zotero.Zotero(LIBRARY_ID, LIBRARY_TYPE, API_KEY) def create_preprint(item: dict): template zot.item_template(preprint) template[title] item[title] template[creators] [ {creatorType: author, name: author} for author in item[authors] ] template[date] item[published][:10] template[url] item[url] template[abstractNote] item[summary] return zot.create_items([template]) if __name__ __main__: import json with open(arxiv_results.json, r, encodingutf-8) as f: papers json.load(f) for paper in papers: resp create_preprint(paper) print(已创建条目, paper[title][:60], -, resp.get(successful, ))使用这种方式前需要到 Zotero 官网的个人设置中创建 API Key并授权对应文库的读写权限。创建条目后PDF 的抓取仍然建议在 Zotero 客户端里完成因为很多 PDF 下载源需要特殊请求头Web API 直接抓取的成功率不如客户端插件。5.4 定时任务让流水线自动跑起来Windows 用户可以使用“任务计划程序”创建基本任务触发器设为每天固定时间操作选择“启动程序”程序填python.exe的路径参数中填写脚本完整路径。macOS 或 Linux 用户可以在终端执行crontab -e添加一行0 8 * * * cd /path/to/your/project python fetch_arxiv.py python generate_ris.py pipeline.log 21这段配置的含义是每天早上 8 点进入项目目录依次执行抓取和生成脚本并把日志写入pipeline.log。如果将来要直接调用 Zotero API可以把python generate_ris.py换成python import_to_zotero.py。6. 运行效果与验证6.1 运行命令与预期输出以fetch_arxiv.py为例运行后预期输出类似抓取完成共 20 篇论文结果已保存到 arxiv_results.json打开arxiv_results.json可以看到每条论文记录包含 title、authors、published、pdf_url 等字段。这说明抓取层已经成功跑通。继续运行generate_ris.py预期输出RIS 文件生成完毕arxiv_import.ris共 20 条如果 RIS 文件中的中文标题显示正常、作者列表完整说明加工层没有问题。6.2 验证清单检查项验证方法通过标准arXiv 抓取成功终端日志输出条数大于等于预期JSON 无乱码RIS 生成成功文件大小RIS 文件大小不为 0内容按条目分隔Zotero 导入成功Zotero 客户端条目完整出现作者、标题、URL 无缺失PDF 自动下载条目附件栏每个条目下存在 PDF 附件可正常打开WebDAV 同步手机端 Zotero手机端可查看和下载附件如果某一步验证失败优先检查日志。日志里没有信息再按下一章的排查表逐步定位。7. 常见问题与排查思路7.1 常见问题排查表问题现象可能原因排查方式解决方案arXiv API 返回空列表请求参数拼接错误打印请求 URL用浏览器直接访问检查search_query语法确认关键词无空格问题RIS 导入后字段缺失RIS 字段名不规范用文本编辑器打开.ris检查字段确认AU、T1、PY字段格式正确Zotero 导入后无 PDF自动抓取未触发查看条目是否有网页快照手动右键“找到可用 PDF”WebDAV 验证失败使用了登录密码而非应用密码查看错误提示去服务商安全设置中创建应用密码同步发生冲突多终端同时修改条目查看 Zotero 同步记录确认只有一台设备写库其他设备只读插件安装后不生效Zotero 未重启或插件版本不兼容查看插件列表是否启用重启或更换兼容版本7.2 WebDAV 验证失败详解WebDAV 验证失败几乎是最常见的 Zotero 配置问题对应热搜词里的高频提问“zotero webdav 验证失败。检查 zotero 首选项中同步选项卡里的文件同步设置。”排查顺序如下检查服务器地址是否以/dav/结尾不要漏掉路径。确认“用户名”填写的是服务商账号坚果云是邮箱不是昵称。确认“密码”填写的是“应用密码”不是网页登录密码。坚果云的应用密码需要在“安全选项”中生成。确认 Zotero 的“同步 → 文件同步”中已经勾选了“同步所有附件”。如果之前配置过官方同步建议先切换为 WebDAV 并重启 Zotero。7.3 手机端打不开 arXiv 怎么办手机浏览器打开 arXiv 不稳定这是很多人都会遇到的问题。稳妥的解决方案不是依赖浏览器访问网页而是把 arXiv 的“发现工作”交给脚本把“阅读工作”交给 Zotero。具体做法是定时脚本跑完后Zotero 通过 WebDAV 把 PDF 同步到手机端。在手机安装 Zotero 官方 App登录同一账号后附件会自动出现在条目列表中离线也能阅读。如果想在手机上快速检索 arXiv可以改用 arXiv API 构造查询链接格式与脚本中的 URL 一致。这样手机浏览器只需要打开一个简单的 API 地址不需要渲染复杂的网页。7.4 导入乱码与重复条目导入乱码通常与 RIS 文件编码有关。Python 默认写入 UTF-8Zotero 也支持 UTF-8但如果 RIS 文件经过某些中转工具可能出现编码转换问题。建议直接使用 Python 脚本生成文件不要复制粘贴网页内容。重复条目问题更常见。同一批论文多次导入后Zotero 会生成多条重复记录。解决办法有两个导入前按url字段去重脚本中加一个seen集合。使用 Zotero 自带插件“Duplicate Items”合并重复条目或定期检查“重复条目”视图。8. 最佳实践与工程建议8.1 关键词配置策略QUERY变量是整套流水线的灵魂。关键词太宽泛每天导入几十条噪音论文太窄又会漏掉重要工作。建议采用“宽查询 严过滤”的策略查询阶段使用较宽的关键词组合比如all:retrieval augmented generation OR all:RAG拿到结果后再按标题、摘要中的额外关键词做二次过滤。这样既不会因为查询语法太严格导致漏抓又能控制最终入库数量。8.2 日志与异常处理定时任务最容易出现“静默失败”脚本跑挂了但没有任何提示你根本不知道今天的巡检结果为空。因此脚本里至少要做三件事每次运行写入日志文件记录抓取时间和条数。网络请求设置超时避免脚本卡死。用try/except捕获异常异常时把完整堆栈写入日志。更进阶的方案是脚本结束后如果检测到当天结果为 0就发送一条提醒。这样能把“无人值守”变成“可感知的无人值守”。8.3 备份与同步冲突Zotero 的数据目录里保存了所有条目和附件信息建议定期压缩备份。Windows 默认在C:\Users\用户名\ZoteromacOS 在~/Zotero。可以用脚本把数据目录同步到网盘或外部硬盘。WebDAV 同步冲突的根源是多台设备同时写入同一个文库。建议把 Zotero 客户端设备划分为“主写设备”和“只读设备”日常导入和整理只在电脑上进行手机和平板只用来阅读和标注。8.4 与 Obsidian 联动如果你用 Obsidian 做笔记Zotero 的文献库可以成为笔记系统的数据源。安装 Better BibTeX 插件后Zotero 条目会生成稳定的引用键。在 Obsidian 中安装 Zotero Integration 插件可以快速把文献信息插入到当前笔记中例如- 作者lastname2024 - 标题论文标题 - 来源[Zotero 条目](zotero://select/items/1_XXXX)这样笔记和文献条目之间就形成了双向链接写综述时可以直接引用不需要手工输入文献信息。8.5 安全说明使用 WebDAV 同步时应用密码相当于一把全局钥匙不要写死在脚本里。如果脚本需要读取配置建议使用环境变量或本地配置文件并确保配置文件不被提交到公开仓库。涉及 Zotero API Key 的操作务必按最小权限原则创建只授权需要的文库和动作。9. 总结与后续方向这套“arXiv × Zotero”文献自动巡检流水线本质上是把科研工作中最机械的一段抽出来交给脚本。抓取层负责发现加工层负责转换入库层负责沉淀Zotero 则承担了文献库和同步底座的职责。跑通后你每天要做的事情就只剩下一个打开 Zotero翻一翻脚本替你筛好的那几篇论文决定哪些值得精读。下一步值得深入的方向有三个一是给脚本增加更智能的过滤逻辑比如基于摘要向量的相似度排序二是接入大模型让脚本为每篇论文生成摘要和关键词进一步降低筛选成本三是把 Zotero 数据源接入到本地知识库中让笔记和文献之间形成真正可检索的双向网络。这套方案的门槛不高只要能跑通 Python 脚本剩下的都是配置细节。建议先用一周时间跑一遍人工流程把关键词调准再上定时任务。文献管理这件事做得早不如做得顺。