ResearchStudio-Reel: 为学术论文一键生成海报、视频和博客

# 论文中了之后，海报、视频、博客还要熬夜赶？我们把这段"最后一公里"自动化了

一份 PDF 进，一张会议海报 + 一段讲解视频 + 一份中英双语博客出，全部可以在 PowerPoint 和 Word 里继续改。

▎ 🏠 项目主页：https://aka.ms/ResearchStudio
▎ 📄 论文：https://arxiv.org/abs/2607.04438
▎ 💻 代码：https://github.com/microsoft/ResearchStudio

---

一、先说一个每个投过顶会的人都懂的场景

论文中了，本该是件高兴事。但如果你投的是 NeurIPS、CVPR、ACL、ICML 里任何一个，你八成会经历下面这套连招：

- 组委会要你交一张会议海报（一般是 60×36 英寸横版，或者 A0 竖版，看会议规矩）；

- 虚拟会场或实验室 YouTube 频道要你交一段 5–10 分钟的讲解视频，配 PPT、字幕、旁白，越接近真人讲越好；

- 老板 / 公众号 / 组里做对外传播的同事要你写一份面向非专家的博客。如果实验室在国内，多半还得中英各写一遍。

三件事的共同点：都赶在 camera-ready 之后那几天集中砸下来，都得手工做，而且做没做、做得好不好，直接决定这篇论文接下来一年被多少人看见。

现有的"自动化"工具是什么样呢？大致三类：

1. 专做海报的：从 Paper2Poster 到 PosterForest、P2P、PosterGen、EfficientPosterGen、APEX、SciPostGen、PosterVerse。每家都在多智能体拓扑和"美学评分器"上做文章，但产物基本是一张不能编辑的 PDF。想改个错字就得重跑一遍。

2. 专做视频的：PPSGen → D2S → DOC2PPT → SlideSpawn → PPTAgent / VideoAgent / Paper2Video / Preacher 这一条线。渲染出来就是一段 MP4，字幕、音轨、幻灯片一旦封进视频里，就再也没法按章节回到源码。

3. 做长文摘要的：HERA、PTSPI、GoSum、LongDPO、ProjectMundo、SciLay 这一系列。给你一段纯文本，没有 Word 交付、没有嵌入图，也没做双语版面。

三条线里更烦的是：它们各自从 PDF 里重新抽一遍图和摘要，所以海报里的 Figure 3 未必等于博客里引用的 Figure 3。举个实际会碰到的例子：博客里写"如 Figure 3 所示，我们把 ImageNet 上的 Top-1 从 76.2% 提到 78.9%"，海报里的 Figure 3 却是消融实验的一张子图；读者看博客对不上海报，你在会议现场还得反复解释。而且大多数系统的收敛条件就是"美学评分不再上涨"——分数卡在 7.8/10 了，可实际打开一看，Method 那张卡是空的。

这就是 ResearchStudio-Reel 想解决的事。

---

二、五个 Skill 组成的一条流水线

五个 Skill（Claude Code / Codex 里的可复用技能模块）分工如下：

- Paper2Assets（上游共享层）：把 PDF 读一次，输出一份"证据包"——裁好的图、九段式摘要（Problem / Motivation / Contribution / Method / Dataset / Key Result / Ablation / Headline Numbers / Takeaway）、元数据、机构 logo（从 Wikimedia Commons 抓）、二维码。下游三个生成器只读这份包，不再碰 PDF。

- Paper2Poster：把资产包组装成一张会议海报，同时输出 HTML、印刷分辨率 PDF、缩略图 PNG，以及一份原生形状的 PowerPoint——不是把渲染图贴进 PPT，是把 DOM 一个节点一个节点重建成 PPT 原生对象。

- Paper2Video：三份根级文件——`video.pptx`（可编辑的 deck）、`video.mp4`（烧字幕的成片）、`video_no_subtitles.mp4`（不烧字幕的干净片源，供交互层使用），外加 `timeline.json`，把音频、字幕、幻灯片帧、亮点框按 section id 对齐。

- Paper2Blog：两份 Word `.docx`，中文按公众号克制的语气写，英文按研究博客的中性语气写。两份文档共享同一份 evidence map：数字、图注、结论必须对得上，只有语气可以各自发挥。

- Paper2Reel：把上面三份产物绑成一份自包含的 HTML 胶片。默认从海报进入，鼠标悬停高亮章节，双击弹出模态框：左边是对应的视频段、字幕、幻灯片缩略图，右边是对应的博客段，头部还能切中英。

前人系统即便把这三件东西都跑出来，它们也是三份互不认识的文件；Reel 把它们绑成同一份论文的三个视图。发给导师、发给非本领域的同行、发给 comms 团队做前评时，他们不用装 PowerPoint / Word，也不用下 MP4，浏览器打开就能按论文顺序过完这篇工作，比"三份文件请分别下载"要顺得多。

---

三、三个关键设计

G1. 上游抽取只做一次

前人系统的每个渲染器都自己抽图、算 caption、拉元数据，结果就是：跨产物的一致性完全靠人兜底，图的抽取质量也参差不齐——有的连 caption 文字一起裁进来，有的把两张独立子图当成一张。

我们把上游抽取抽成独立 Skill (`Paper2Assets`)，图像清理走"确定性前处理 → 视觉 AI 给紧致 bbox → 新上下文子 agent 验证"三段，只有验证通过才提交，每步幂等、原图先备份。三个下游共享同一份 figure 文件名，海报、视频、博客指的自然是同一张图，不需要任何跨 Skill 协调。

G2. 所有产物都能回炉

多数系统给你的是 PDF / MP4 / Markdown——发现错别字要重跑，想改图要重跑，想调语气还要重跑。而真实的编辑场景是"作者收到成品之后再手改两三轮"，所以产物必须落进作者已经会用的工具里。

- 海报走一条 "live DOM → 原生 PPT 形状" 的桥，做四件事：

1. 遍历 DOM，`getBoundingClientRect` 读几何，`getComputedStyle` 读样式，CSS 像素按海报画布尺寸换成 EMU；

2. 按语义分类：块级文字 → 可编辑文本框（保留 `<strong>`/`<em>` 混排 run）；列表 → 悬挂缩进项目符号；`<img>` → 可替换图片；`<svg>` → 同 box 内栅格化；`<div>` → 带真实填充/边框/渐变/投影的圆角矩形；

3. MathJax 公式 → 原生 PowerPoint OMML，公式在 PPT 里点开就能改；

4. `color-mix` / `oklab` / `color()` 等 CSS 色空间通过 1 像素 canvas 归一化到 RGBA。

- 视频的 deck 走完整的 `ppt-master` 工作流（一个独立开源项目）产出，所以 `video.pptx` 不是中间产物，是作者可以打开重录的一等公民。

- 博客输出 Word `.docx`，字体、嵌入图、caption 位置都在 assembler 层校对过。

"作者作品"的门槛不是"AI 生成"，而是"能被打开、能被改、能被拥有"。

G3. 收敛条件是硬门禁，不是软打分

VLM 的美学打分是个连续偏好函数：一张海报拿 7.8/10，你不知道扣掉的 2.2 分是"字太多"、"图太挤"，还是"Method 卡是空的但字体好看"。前人系统的收敛条件普遍是"分数不再上升"——但如果一个 load-bearing section 就是空的，连续打分照样给一个"看起来还行"的分数。

我们把收敛条件换成分类式的硬门禁。以海报的 fill loop 为例，每一轮做的事情：

1. headless 浏览器渲染当前 HTML；

2. 每个 section 算一个 `fullRatio = h_content / h_card`，量化成五档：

- `EMPTY` (<0.70) — 补一段预留的补充段或提升一个可选 section；

- `SPARSE` (0.70–0.90) — 加长散文或放大 widget 直到贴底；

- `FULL` (0.90–1.00) — 不动；

- `SPILLAGE` (1.00–1.10) — 缩紧散文回到带内；

- `OVERFLOW` (>1.10) — 直接删补充段。

3. 每轮只改一节，按像素差调整幅度，拒绝重复越界过的动作，磁盘上的轮次计数器负责断路；

4. 所有 section 都到 FULL、所有 figure 至少占 card 一维的 70%，才算收敛。

终止条件是"分类固定点"而不是"得分平原"，日志里能看到"第 3 轮 Related Work 从 SPARSE 变 FULL"这种明确记录，一个不收敛的海报是可以调试的，而不是"agent 又发神经了"。

在这之上还有 RRP（Reader-Reconstruction Preference） 门禁：一个 held-out reader 模型只看海报图，回答不出关于论文的问题，就退回上一轮。视频有自己的 `check_video_package.py`（检查音频、字幕不重叠、亮点框不能是单词大小、时长在 tolerance 内），博客有 layout-aware DOCX 检查（近空白页、孤字尾、缩小的图）。每个 Skill 靠自己的"通过就发货"清单，而不是靠感觉过。

---

四、实验：海报在美学上超过了论文作者本人

海报有公开 benchmark，视频和博客没有。量化对比只能锚在海报这块，用 Paper2Poster 官方基准的 100 篇论文，评委是两位 held-out VLM：`claude-opus-4.8` 和 `gpt-5.5`。评价用它们原论文的六准则（美学 3 项 + 信息 3 项，1–5 分）加一份 PaperQuiz 阅读理解题，海报统一缩到长边 ≤ 2560 像素，谁都不占分辨率便宜。

对比三类系统：一句 prompt 直接吐海报的 single-shot LLM（Claude-4.8 Opus / GPT-5.5 / Gemini-3.1 Pro）；前人 poster pipeline（Paper2Poster / P2P / PosterGen，我们按论文复现）加我们自己两个 setting（Claude Code + Opus、Codex + GPT-5.5）；以及作者原图。

主要结果（两位评委平均，加粗为组内最好，下划线为次好）：

> 💡 逐篇看，我们的海报在 84–93% 的论文上"总分"高于作者原图（Claude judge 判 93%，GPT judge 判 84%，两位评委独立打分）。

两个观察值得展开一下：

(1) 海报在美学上平均而言超过了作者本人。平均 3.52 vs. 2.94，半分多的差距，两位来自不同模型家族的 VLM 都同意。这个结果自己也意外，但想想又不难理解：人做海报会碰上疲劳和 deadline，而 fill loop 的美学是结构性的——每张卡在密度带内、figure 不会缩成小邮票、颜色间距 logo 都走同一份约束。

(2) PaperQuiz 排名和美学近乎相反。PaperQuiz 奖励"照抄原文"，越像原文，AI 阅读器越容易答对。P2P 的 75.40 来自它把全文塞进竖版长海报；Paper2Poster tool 的 95.65 更极端——它的内容本身是从 benchmark 的问答对里抽出来的，答案已经明写在海报上。作者原图正相反，人剪得最狠只留 headline，Quiz-Detail 因此垫底。我们在中间，fill loop 把每列填到目标密度而不是塞满为止。两个指标是有张力的，我们把它并排放出来，让读者自己判断。

消融也埋在同一张表里：

- Skill 加持 vs. 裸模型直出（模型不变）：`claude-opus-4.8` 一句 prompt 直接吐海报，美学 2.76；同一个模型套上 Skill，美学 3.52。0.76 分美学 + 整整 1 分的 Layout，来自 loop 和 composition，不是来自模型。GPT-5.5 也一样：3.03→3.34，Layout 3.22→3.80。

- 换 harness、换模型（Skill 不变）：Claude Code + Opus vs. Codex + GPT-5.5，美学 3.52 vs. 3.34，都仍然领先所有前人系统。这是 Skill 的属性，不是某家闭源模型的属性。

---

五、上手方式

```bash

git clone https://github.com/microsoft/ResearchStudio

cd ResearchStudio && ./install.sh

```

装完在 Claude Code 或 Codex 里对一份 PDF 或 arXiv 链接调用任一 Skill 即可：只要海报就调 Paper2Poster；想要完整的可交互胶片就调 Paper2Reel，它会自动补齐上游缺失的产物。

系统依赖：`poppler-utils`、`libreoffice`、`ffmpeg`、一个 headless Chromium。语言模型侧用 Edge TTS 做旁白（不需要凭证），API 从 host runtime 读（Claude Code 走 `ANTHROPIC_API_KEY`）。

---

六、最后想说的

好的海报、好的讲解视频、好的博客，本来就是一篇论文完整生命周期的一部分——它们决定了你熬夜写出来的结论，能被多少人看到、读懂、转给下一个可能用得上的同行。我们希望这三份产物从"熬夜赶工才能勉强完成"变成"一次生成就是不错的起点"，把作者的时间从排版、切图、对时轴、双语校对这些机械环节里解放出来，留给真正属于作者的判断：用哪张图讲 Method、用哪句话开博客、在视频里用哪种语气强调结论。

至于基准上的"美学超过作者本人 84–93%"，其实说明的是——结构性的一致性（密度、图占比、留白呼吸）是可以被工程托底的。作者在这份底子上再改一轮，最后成品既有工程一致性，又有个人风格。

- 论文与项目主页：https://aka.ms/ResearchStudio

- 开源许可：MIT

- 联合团队：Microsoft Research、新加坡国立大学、南洋理工大学、清华大学、北京大学、上海交通大学、西湖大学、A*STAR

评论区想听你聊：

- 手上有一篇论文想跑一遍看看效果？留言告诉我们；

- fill loop 的分档是怎么定下来的？

- DOM → PPTX 那条桥怎么保证公式仍然可编辑？

- Paper2Reel 的对齐 sidecar 长什么样，为什么不直接从视频里 scrub？

或者，你自己最想让下一版 Skill 帮你搞定的一步是什么。