MiniMax Sparse Attention：一篇读懂百万上下文时代的稀疏注意力工程化路线-拓冰建站

写在前面

欢迎大家关注Rocky的公众号：WeThinkIn
欢迎大家关注Rocky的知乎：Rocky Ding
《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源：【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book，欢迎大家Star～

Rocky最新撰写的10万字AI Agent（AI智能体）深入浅出全维度解析文章：深入浅出完整解析AI Agent（AI智能体）的核心基础知识

AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群（涵盖涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识）欢迎大家加入：https://t.zsxq.com/33pJ0

大家好，我是Rocky。

核心导读

MiniMax 这篇《MiniMax Sparse Attention》讨论的不是一个“看起来更优雅”的注意力变体，而是一个非常现实的问题：

当大模型上下文长度走到 100K、1M 甚至更长时，dense softmax attention 的二次复杂度已经不再是论文里的公式问题，而是推理成本、延迟、显存和产品可用性的核心瓶颈。

MSA，也就是 MiniMax Sparse Attention，给出的路线是：不推翻 Transformer，不用线性注意力替换 softmax，也不把长上下文能力完全交给外部 RAG，而是在主流 GQA 架构上加一个轻量级 Index Branch，让模型为每个 query 和每个 GQA group 动态选择少量 KV blocks，再由 Main Branch 只在这些 block 上做精确 softmax attention。

这篇论文最值得看的地方有三个。

第一，它不是固定滑窗。MSA 是内容自适应的 blockwise sparse attention，不同 GQA group 可以选择不同远程 block，因此能保留比固定窗口更强的长程检索能力。

第二，它不是只做算法。论文把 sparse attention 和 GPU kernel 一起设计，包括 exp-free Top-k、KV-outer sparse attention、query gather、两阶段 combine、persistent load balancing。也就是说，它关心的不是理论 FLOPs 省了多少，而是 H800 上真实 prefill 和 decoding 能不能加速。

第三，它不是小模型 demo。论文在 109B 参数 MoE、3T token 训练预算、原生多模态训练上验证，声称在 1M context 下，相比 GQA 每 token attention compute 降低 28.4×，配套 kernel 实现 14.2× prefill 和 7.6× decoding wall-clock speedups。

Rocky 认为，MSA 的价值不在“稀疏注意力”这个概念本身，而在它给出了一个更接近产业部署的答案：长上下文能力的下一阶段，不是单纯把 context window 标到更大，而是把注意力预算变成可学习、可执行、可工程化的稀缺资源。

1. 为什么百万上下文不能只靠 dense attention 硬撑

长上下文正在从“模型卖点”变成“Agent 基础设施”。

代码仓库级理解、长视频/长文档分析、企业知识库、长期记忆、复杂工具链轨迹、浏览器 Agent、软件工程 Agent，都要求模型在一次任务中保留大量历史状态。问题在于，dense attention 的计算和缓存访问会随序列长度快速膨胀。context window 可以写成 1M，但如果每一步都让每个 query attend 到全部历史 token，部署成本会非常难看。

所以长上下文有两个层次：

能不能在训练/评测上支持更长窗口；
能不能在真实服务里以可接受延迟和成本使用这个窗口。

很多长上下文论文解决的是第一件事，MSA 更关注第二件事。

论文的出发点很明确：frontier LLM 的长上下文需求来自 agentic workflows、repository-scale code reasoning、persistent memory 等场景，但 quadratic attention cost 在部署规模上不可持续。这个判断很工程化，也很符合实际。

过去常见的长上下文降本路线有几类：线性注意力、状态空间模型、滑动窗口、固定 global token、KV cache pruning、inference-time sparsification、混合架构。它们各有优点，但也有约束：有的牺牲 exact softmax，有的训练和推理路径不一致，有的只对 decode 有效，有的 sparse pattern 太固定，有的 kernel 难以充分利用 GPU。

MSA 的选择比较保守，也更产业化：保留 softmax attention 的主体，只把可见上下文从“全量”改成“模型动态选择的一小组 KV blocks”。

这是一条“少改底座，多改路由”的路线。

2. MSA 的核心：在 GQA 上做 group-specific block selection

要理解 MSA，先看它和 GQA 的关系。

GQA，也就是 Grouped Query Attention，用多个 query heads 共享较少的 KV heads。比如论文实验配置里有 64 个 query heads、4 个 KV heads，每个 KV head 服务一组 query heads。这个结构已经是现代大模型降低 KV cache 和推理成本的重要基础。

MSA 顺着 GQA 做稀疏化：每个 GQA group 不再 attend 全部 KV，而是由 Index Branch 为这个 group 选择 top-k KV blocks。随后，Main Branch 在这些 block 内做标准 softmax attention。

这有几个关键设计。

第一，选择粒度是 block，不是 token。论文默认 block sizeB k = 128 B_k=128Bk=128，top-k block 数量k = 16 k=16k=16，因此每个 query/GQA group 最多看16 × 128 = 2048 16 \times 128=204816×128=2048个 token。相比 1M 上下文，这是非常小的预算。

第二，选择是 GQA group-specific，不是所有 heads 共享一个全局稀疏 pattern。不同 group 可以选择不同远程 block，从而保留多头注意力分工。

第三，local block 始终保留。模型不会因为随机早期选择或稀疏路由错误而丢掉 query 附近的基本上下文。

第四，Index Branch 是轻量级 selector，而不是额外的注意力输出分支。最终设计里它只负责选 block，不直接给模型增加一条 value aggregation 路径。

这张可视化很重要。它说明 MSA 学到的不是一个全局固定模板，而是 group-specific sparse retrieval。不同 group 都保留局部对角线和 sink column，但远程 stripe 不同。这和多头注意力的直觉一致：不同 head/group 应该承担不同信息检索角色。

Rocky 认为，这一点是 MSA 和固定滑窗路线的核心差异。长上下文里真正难的不是永远看最近 2048 token，而是在百万 token 中找出“当前 query 真正需要的少量远程信息”。如果稀疏模式不随内容变化，长上下文能力很容易退化成一个看起来很长、实际只能近邻建模的窗口。

3. Attention sink：为什么第一个 token 仍然重要

论文专门讨论了 attention sink，也就是很多 attention head 会把显著权重放到序列开头 token 上。

在 dense attention 中，attention sink 是一个常见现象。问题是，稀疏注意力如果完全靠动态选择，是否还需要硬编码选择第一个 block？MSA 的观察是：即使不强制选择 first block，训练后的 Index Branch 也会自然把初始 block 选出来。

这对设计有两个含义。

一方面，attention sink 是模型自己学到的真实结构，不只是人为规则。稀疏选择器需要有能力保留这种结构，否则可能破坏基础建模。

另一方面，最终 MSA 不需要把 first block 写死成强规则。论文在附录的 forced sink/local ablation 里说明，去掉这些硬编码后，模型质量整体影响有限。最终只强制保留 local block。

这体现了 MSA 的一个风格：尽量少放硬规则，把动态选择交给可训练 indexer，但保留必要的稳定性约束。

4. 训练难点：Top-k 不可导，Indexer 怎么学会选对 block

MSA 最大的问题不是“能不能稀疏”，而是“稀疏选择器怎么训练”。

Top-k selection 本身不可导。Main Branch 的语言建模损失不能直接告诉 Index Branch：你刚才应该选择哪几个 KV blocks。如果 indexer 学不好，Main Branch 就会看错上下文，模型能力下降。

论文尝试了不同训练信号。早期方案包括让 Index Branch 自己产生一个 attention output，并通过 LM loss 训练；另一个方案是用 KL loss，让 Index Branch 的分布对齐 Main Branch 在选中 support 上的 attention distribution。

最终 MSA 保留的是 KL alignment 这条线。直觉上，它让 Main Branch 做老师：在被选择的 tokens 上，Main Branch 的 attention pattern 表示哪些 token 真正重要，Index Branch 学会预测这种重要性。

但这里又有一个危险：如果 KL loss 的梯度流回 backbone，模型可能不是“让 indexer 学会选择”，而是“让 backbone 简化自己的 attention 分布以降低 KL”。这会干扰主模型训练。

因此论文引入 gradient detach：KL 只训练 Index Branch 的 index Q/K projections，不让辅助损失污染 backbone。

这是一个非常实用的工程细节。很多论文写 sparse attention，会把 selector 说成一个自然模块，但真正训练时，辅助损失如何路由梯度，直接决定模型会不会崩。

Rocky 的判断是：MSA 最有价值的部分之一，就是它没有只停留在“Top-k 稀疏”这个表层，而是把训练稳定性问题拆清楚了：KL 给 indexer 学习信号，detach 把这个信号限制在 indexer，warmup 再解决早期选择随机的问题。

5. Indexer warmup：让选择器先学会看，再让它控制路由

论文还有一个关键训练技巧：Indexer warmup。

原因很简单：训练早期 Main Branch attention distribution 变化很快。如果一开始就让一个还没学会的 indexer 决定 sparse routing，Main Branch 可能被路由到无意义 token，反过来又削弱 indexer 的监督信号，形成恶性循环。

MSA 的做法是两阶段训练：

warmup 阶段：Main Branch 仍跑 full attention，Index Branch 学习对齐完整 attention distribution；
sparse 阶段：启用 top-k sparse selection，让 Main Branch 只看选中的 blocks。

这个设计和大模型训练中的很多经验一致：在系统刚启动时，路由器、MoE gate、retriever、tool selector 都不应该过早掌握“硬路由权力”。先让它对齐、预热，再让它影响主路径，通常更稳。

对 Agent 系统也一样。很多“让模型自己选工具/自己路由上下文”的系统失败，不是因为选择器概念错，而是选择器一开始没有足够监督和 warmup，导致错误路由放大。

MSA 把这个经验落实到了 attention 内部。

6. Learnable sink 和滑动窗口消融：哪些设计最后被删掉了

MSA 的论文风格比较工程化，它不仅写保留了什么，也写删掉了什么。

一个例子是 learnable attention sink。直觉上，如果模型天然需要 sink token，不如显式加一个 learnable sink parameter。但实验显示，learnable sink 并没有稳定带来优势；有些 head 会转向它，有些 head 仍然保留 first-token sink。

另一个例子是滑动窗口 baseline。固定 pattern 可以选择 first block + local window，在相同 token budget 下更简单，但它不能根据 query 内容动态检索远程 block。论文的 agent-oriented PPL 对比显示，MSA 相比 FLOP-matched sliding window 更有优势。

这些消融支持了一个判断：长上下文不只是“近邻窗口 + 少量全局 token”的问题，模型需要内容自适应地找远程信息。

固定窗口适合局部连贯性，但 Agent 任务、代码仓库、长文档检索、跨段引用往往需要跳转到远处的少量关键证据。动态选择的价值就在这里。

7. Kernel 设计：FLOPs 省了，不等于真的快了

MSA 论文很强调 kernel，这是它比很多稀疏注意力想法更接近落地的地方。

稀疏注意力的常见陷阱是：理论 FLOPs 看起来少了，但 GPU 上不一定快。原因包括索引开销、gather/scatter、内存访问不规则、tensor core 利用不足、不同 KV block 热度极不均衡、softmax split 后归一化复杂等。

MSA 为此做了几件事。

第一，exp-free Top-k。由于 softmax 不改变 score 排序，Top-k selection 可以直接在 raw scores 上做，省掉 max/exp/sum。

第二，针对小 k 设计 per-thread register top-k。论文部署设置是B k = 128 , k = 16 B_k=128,k=16Bk=128,k=16，候选 block 数和 k 都不大，因此通用 top-k kernel 不一定最优，专门 kernel 更合适。

第三，KV-outer sparse attention。Q-outer 直觉上更自然，但会导致每个 query 选择不同 KV subset，难以填满 MMA。KV-outer 让同一个 KV block 下的 queries 聚合起来，提高 tensor core 利用率。

第四，pre-scheduled tile chunking 和 two-phase combine。某些 KV blocks，尤其 sink-like blocks，会被大量 queries 选中。直接 one-CTA-per-tile 会负载倾斜；MSA 预先切分 hot tiles，并通过两阶段 combine 合并 softmax partials，避免 atomic updates。

这些细节说明一个现实：稀疏注意力是算法和系统共同决定的能力。没有 kernel，稀疏只是纸面 FLOPs；没有可学习选择器，kernel 只是固定模式加速。

8. 109B 规模实验：真正要看的是“能力保持 + 成本下降”

论文主实验在 109B 参数 MoE 模型上做。模型约 109B total parameters，6B activated parameters per token，41 层 MoE backbone，64 query heads、4 KV heads，MSA 使用B k = 128 , k = 16 B_k=128,k=16Bk=128,k=16。

训练路线有两条：

MSA-PT：从头训练 sparse attention 模型，3T token 预算，其中 40B token 用于 indexer warmup；
MSA-CPT：从 2.6T token 的 full-attention checkpoint 出发，把 dense attention 替换成 MSA，再继续训练 400B token，其中前 40B token 用于 warmup。

主结果的关键不是某个 benchmark 谁高 0.几分，而是 MSA 在文本、数学、代码、图像、视频、长上下文、agent PPL 上总体接近 Full Attention。尤其 MSA-PT 在不少数学、多模态和长上下文检索项上表现强，说明从头稀疏预训练可能让模型表征更适应 sparse pattern；MSA-CPT 更像保守迁移路线，适合已有 dense checkpoint 转换。

论文的 Table 级证据可以压缩成下面这张速查表：

证据单元	论文结论	Rocky 解读
Top-k latency table	专用 top-k kernel 在部署设置下快于通用`torch.topk`/ radix-select	MSA 的速度来自算法和 kernel 协同，不是只改 attention mask
代表性评测表	Full、MSA-PT、MSA-CPT 在 3T token 预算下整体接近	稀疏化没有明显破坏通用、代码、多模态和 agent PPL 能力
HELMET/RULER 128K 表	MSA-CPT 长上下文扩展后接近 Full Attention，RULER-128K overall 甚至略高	2048 token/ query 的预算仍可保留较强长上下文能力，但细分项有得有失
block size 消融	block 32/64/128 的 PPL 接近，RULER 没有明显单调退化	较大 block 可以换 kernel 效率，质量损失在实验里可控
forced sink/local 消融	去掉强制 sink 和固定 local 后，多数指标变化有限	selector 能学到 sink/local 结构，最终设计可以更简洁

这里要注意边界。MSA 不是“所有指标无损”。论文结果里不同训练路线在不同任务上有涨有跌，长上下文细分项也不是全部胜出。它更像证明了一个工程可接受区间：在 109B 级别，MSA 可以把 attention 成本大幅降下来，同时让能力损失保持在可管理范围。

这已经很有价值。

9. 效率结果：1M 上下文下 28.4× FLOPs 下降，14.2×/7.6× 实测加速

效率图是这篇论文最核心的落地点。

在相同实验模型配置下，MSA 的 Main Branch 每个 query 只看 2048 个 KV tokens，而 dense GQA 要看完整上下文。随着 context length 增长，dense attention 继续按全长增长，而 MSA 的主 attention budget 基本固定，差距自然扩大。

论文报告的关键数字是：

1M context 下，每 token attention compute 相比 GQA 降低 28.4×；
配套 kernel 在 H800 上实现 14.2× prefill wall-clock speedup；
decoding 实现 7.6× wall-clock speedup。

实测加速低于理论 FLOPs 降低，这是正常的。稀疏注意力有索引、Top-k、反向索引、query gather、load balancing、two-phase combine 等额外开销。真正重要的是：这些开销没有吞掉全部收益，且随着上下文变长，MSA 的优势更明显。

Rocky 认为，这组数字的意义在于：它把“百万上下文”从模型能力指标拉回到服务成本指标。模型能看 1M token 只是第一步，关键是每次长上下文 prefill 和 decode 的成本能不能被业务接受。

10. 和 NSA、MoBA、DSA、MInference 等路线的差异

MSA 位于一个很拥挤的技术邻域：高效长上下文 attention。

简单拆一下：

MInference / FlexPrefill 等方法更多是在推理阶段构造 sparse support；
NSA 使用多分支结构，包括 compressed attention、selected attention、sliding window；
MoBA 也是 block attention，但 block 更大，indexer 训练路径不同；
DSA 依托 MLA/MQA 模式，使用 token-level lightning indexer；
固定滑窗和 attention sink 类方法则更偏静态规则。

MSA 的特点是组合了几个约束：

面向 GQA，这是当前大量大模型的主流结构；
每个 GQA group 独立选择 block；
block-level 粒度，便于连续 KV 读取和 GPU 执行；
Index Branch 只做 selector，用 KL alignment 训练；
算法和 kernel 共同设计。

它不是理论上最灵活的稀疏注意力，也不是结构最复杂的稀疏注意力。它选择的是“够表达、够稳定、够好部署”的中间点。

这很符合论文里提到的 Occam’s razor：经过消融，只留下必要组件。

11. 对 Agent 和长上下文产品的意义

MSA 的应用场景非常明确：Agentic workflows。

Agent 真正吃上下文的地方，不是简单问答，而是长期任务状态：

软件工程 Agent 需要读完整仓库、issue、历史修改、测试日志；
浏览器 Agent 需要记住长轨迹、网页结构、用户偏好；
企业 Agent 需要跨文档、跨表格、跨会话检索；
多模态 Agent 需要同时处理长视频、截图、工具结果、动作历史；
长期记忆系统需要在大量历史中找出少数关键片段。

这些任务的共同点是：当前 query 通常只需要少量远程证据，但你不知道这些证据在哪里。

这正是动态稀疏 attention 的用武之地。RAG 可以在模型外部找证据，但模型内部 attention 仍然需要在已放入上下文的材料中做细粒度选择。MSA 把这个选择变成可学习的内部路由。

Rocky 认为，长上下文 Agent 的未来很可能是三层结构：

层级	作用	代表机制
外部检索层	决定哪些文档/轨迹进入上下文	RAG、memory、tool search
上下文压缩层	控制哪些内容以什么格式进入 prompt	summary、state、context engineering
内部注意力路由层	在已进入上下文的 token 中分配注意力预算	MSA 这类 learned sparse attention

只有第三层做好，超长上下文才不会变成“塞得进去但用不起、看不准”的营销窗口。

12. 边界与风险：MSA 不是长上下文问题的全部答案

MSA 很强，但不能被理解成长上下文的银弹。

第一，它仍然需要训练或继续预训练。MSA-CPT 提供了 dense checkpoint 转 sparse 的路径，但不是零成本切换。要让 indexer 学会选择，需要 warmup 和大量 token 预算。

第二，它对 kernel 工程依赖很强。论文在 H800 上做了 co-designed kernel，但不同 GPU、不同 batch/sequence 分布、不同 serving stack 下收益可能变化。稀疏 attention 的产品化效果，不能只看 FLOPs。

第三，它仍然可能在极端检索任务上丢信息。每个 query/GQA group 的预算是 2048 tokens，如果真正需要的信息分散在更多远程位置，或者 indexer 选择错误，能力会受影响。

第四，它没有替代外部记忆和 RAG。MSA 解决的是“进入上下文后的内部 attention 路由”，不是“哪些知识应该进入上下文”的问题。

第五，长上下文评测还不等于真实 Agent 评测。RULER、HELMET 很重要，但真实软件工程/浏览器/企业工作流还包含工具调用、状态更新、错误恢复、权限边界等问题。

所以更严谨的判断是：MSA 是长上下文内部计算成本的关键解法之一，但它需要和外部检索、上下文工程、Agent runtime、系统级缓存共同工作。

13. Rocky 的判断：长上下文竞争会从“窗口长度”转向“注意力预算调度”

Rocky 认为，MSA 代表了一个很明确的趋势：

未来长上下文模型的竞争，不会只看谁的 context window 更长，而会看谁能把有限注意力预算调度得更准、更快、更便宜。

这和 AI 行业过去两年的变化一致。

第一阶段，厂商比参数规模。

第二阶段，厂商比 benchmark。

第三阶段，厂商比上下文长度。

但真正进入 Agent 和企业生产环境后，窗口长度本身会变成不充分指标。你能支持 1M token，但如果 prefill 成本太高、decode 太慢、长程信息找不准，用户感知不到稳定价值。

MSA 这类工作把问题推进到更本质的位置：让模型自己学习“哪些历史值得看”，并让这种选择能被 GPU 高效执行。

从工程角度看，MSA 的长期价值主要在三点：

它适配 GQA 这种主流大模型结构，迁移成本相对可控。
它用 block 粒度换取 GPU 执行效率，而不是追求不可部署的细粒度稀疏。
它把训练稳定性、模型能力保持、kernel 加速放在同一个系统里验证。

从产品角度看，它降低了百万上下文从 demo 走向真实服务的门槛。

从行业周期看，它说明长上下文开始进入“系统工程阶段”：不是谁先把窗口拉长谁赢，而是谁能在成本、速度、质量之间找到可规模化的平衡。

这也是为什么这篇论文值得认真读。它不是在讲一个 attention trick，而是在讲大模型进入 Agent 时代后，底层算力账怎么重新计算。

术语与概念速查

概念	含义	Rocky 解读
MSA	MiniMax Sparse Attention	面向 GQA 的动态 blockwise sparse attention
Index Branch	轻量级索引分支，负责为每个 query/GQA group 选择 top-k KV blocks	本质是模型内部 learned retriever
Main Branch	在选中 blocks 上执行精确 softmax attention	保留 Transformer attention 的主要计算语义
GQA group	多个 query heads 共享一个 KV head 的组	MSA 以 group 为单位共享 sparse index，兼顾表达和效率
blockwise selection	按连续 KV block 而非 token 选择	用粒度换 GPU 规则访问和 kernel 效率
KL alignment loss	用 Main Branch attention 分布监督 Index Branch	给不可导 Top-k selector 提供训练信号
gradient detach	阻止 KL 梯度流回 backbone	防止辅助损失污染主模型训练
indexer warmup	稀疏路由启用前先让 Index Branch 学会对齐	降低早期随机选择造成的训练不稳定
KV-outer sparse attention	以 KV block 为外循环聚合 query	提高 tensor-core 利用率，减少稀疏导致的低效执行
attention budget	每个 query 实际能看多少 token	长上下文时代的核心稀缺资源

参考资源

arXiv 论文：https://arxiv.org/abs/2606.13392
PDF：https://arxiv.org/pdf/2606.13392
GitHub kernel：https://github.com/MiniMax-AI/MSA
Hugging Face 模型：https://huggingface.co/MiniMaxAI/MiniMax-M3

MiniMax Sparse Attention：一篇读懂百万上下文时代的稀疏注意力工程化路线

写在前面