Beam Search、贪心解码与随机采样的权衡分析

一、三种解码策略概览

文本生成中，模型在每一步输出一个概率分布，解码策略决定如何从该分布中选择下一个 token。

模型输出概率分布（每步）： 词A: 0.50 词B: 0.30 词C: 0.15 词D: 0.05 贪心 → 选概率最高的 A 采样 → 按概率随机抽（A 50%概率被选中，B 30%...） Beam → 同时保留多条候选路径，最终选整体概率最大的

二、贪心解码（Greedy Decoding）

原理

每一步选择当前概率最高的 token，只保留一条路径，不回溯。

t=1: P(A)=0.5 ✓ P(B)=0.3 P(C)=0.15 → 选 A t=2: P(X)=0.4 ✓ P(Y)=0.35 P(Z)=0.25 → 选 X t=3: P(M)=0.6 ✓ P(N)=0.4 → 选 M 最终输出: A → X → M

特点

核心缺陷

贪心可能错过全局最优路径： 路径1: A(0.5) → X(0.4) → M(0.6) 总概率 = 0.5 × 0.4 × 0.6 = 0.120 路径2: B(0.3) → Y(0.9) → N(0.8) 总概率 = 0.3 × 0.9 × 0.8 = 0.216 ✓ 更优 贪心选了路径1（第一步 A 概率最高），但路径2 整体概率更大

三、Beam Search

原理

每一步保留k 条概率最大的候选路径（beam width = k），最终选择累积概率最大的完整序列。

示例（beam width = 2）

t=1: 候选路径 A (0.5) ✓ 保留 B (0.3) ✓ 保留 C (0.15) ✗ 淘汰 t=2: 从 A、B 各扩展 A→X (0.5×0.4=0.20) ✓ 保留 A→Y (0.5×0.35=0.175) ✗ 淘汰 B→Y (0.3×0.9=0.27) ✓ 保留 ← 贪心会错过这条！ B→Z (0.3×0.25=0.075) ✗ 淘汰 t=3: 从 A→X、B→Y 各扩展 A→X→M (0.20×0.6=0.120) B→Y→N (0.27×0.8=0.216) ✓ 最优 最终输出: B → Y → N（比贪心的 A→X→M 概率更高）

特点

Beam Search 的已知问题

问题1：长度惩罚 短序列累积概率天然更高（连乘次数少） → 需要 length normalization: score = log P / length^α 问题2：beam 内趋同 多条 beam 在前几步后容易收敛到相似路径 → 多样性 Beam Search (Diverse Beam Search) 对 beam 分组施加差异惩罚 问题3：与训练目标不一致 训练时优化 token 级交叉熵，推理时优化序列级概率 → Scheduled Sampling / MRT 等方法尝试缓解

四、随机采样（Random Sampling）

原理

每一步按概率分布随机抽取token，而非取最大值。

t=1: P(A)=0.5, P(B)=0.3, P(C)=0.15, P(D)=0.05 → 按概率随机抽，假设抽到 B t=2: 新的概率分布 → 随机抽，假设抽到 Y ...

温度采样（Temperature Sampling）

引入温度参数 τ 控制分布的"尖锐程度"：

P'(w_i) = softmax(logit_i / τ) τ → 0: 分布趋近 one-hot → 退化为贪心 τ = 1: 原始分布 τ → ∞: 分布趋近均匀 → 完全随机

τ=0.5（更确定）: A=0.80 B=0.15 C=0.04 D=0.01 τ=1.0（原始）: A=0.50 B=0.30 C=0.15 D=0.05 τ=2.0（更随机）: A=0.35 B=0.28 C=0.22 D=0.15

Top-K 采样

只从概率最高的 K 个 token 中采样，截断长尾：

原始分布: A=0.50 B=0.30 C=0.15 D=0.03 E=0.01 F=0.005 ... Top-K=3: A=0.53 B=0.32 C=0.16 （重新归一化后） → 只从 A、B、C 中采样，排除低概率噪声

Top-P（Nucleus）采样

从累积概率达到 P 的最小 token 集合中采样：

原始分布: A=0.50 B=0.30 C=0.15 D=0.03 E=0.01 ... Top-P=0.9: 累积 A+B+C = 0.95 ≥ 0.9 → 从 {A, B, C} 中采样 Top-P=0.8: 累积 A+B = 0.8 ≥ 0.8 → 从 {A, B} 中采样

Top-P vs Top-K：Top-P 自适应——分布集中时候选少，分布分散时候选多。

特点

五、三者权衡对比

质量稳定性 多样性 速度 ←─────────────────────────────────────→ 贪心解码 ████████████ 高 ████ 低 ████████████ 快 Beam Search ████████████ 高 ████ 低 ██████ 中 随机采样 ████████ 波动大 ████████████ 高 ████████████ 快

综合对比表

六、不同任务的策略选择

┌─────────────────────────────────────────────────────┐ │ 任务类型 推荐策略 原因 │ ├─────────────────────────────────────────────────────┤ │ 机器翻译 Beam Search (k=4~6) 要求准确 │ │ + length penalty 性和流畅 │ │ │ │ 文本摘要 Beam Search (k=4) 忠实源文 │ │ │ │ 对话系统 Top-P (p=0.9) 需要多 │ │ τ=0.7~1.0 样性和 │ │ 自然感 │ │ │ │ 创意写作/故事 Top-P (p=0.9~0.95) 鼓励创 │ │ τ=0.8~1.0 意和发散 │ │ │ │ 代码生成 Beam Search (k=1~4) 要求正确 │ │ 或贪心 性和确定性 │ │ │ │ 事实问答 贪心或 Beam (k=1~2) 要求准确 │ │ 无需多样 │ └─────────────────────────────────────────────────────┘

核心原则

准确性优先（翻译/摘要/代码/QA） → Beam Search（牺牲多样性换质量） 多样性优先（对话/创意写作） → Top-P 采样（牺牲部分准确性换自然和创意） 速度优先（实时系统/边缘设备） → 贪心解码（牺牲质量换速度）

七、实践中的组合策略

现代 LLM 推理通常不是单一策略，而是组合使用：

常见组合： 1. Beam Search + Length Penalty → 解决短序列偏好问题 → score = log P(y) / |y|^α 2. Beam Search + No Repeat N-gram → 解决 beam 趋同导致的重复 → 硬性禁止重复 N-gram 3. Top-P + Temperature → Top-P 截断长尾 + Temperature 调节锐度 → 对话系统最常用组合 4. Beam Search + Diverse Beam Search → 对 beam 分组，组间施加差异惩罚 → 兼顾质量和多样性 5. Contrastive Search（较新） → 惩罚与历史表示过于相似的 token → 在保持连贯性的同时避免重复

八、总结

三种解码策略的本质权衡： 贪心解码 = 极致的效率优先 → 局部最优，快但可能差 Beam Search = 极致的质量优先 → 近似全局最优，质量高但多样性低 随机采样 = 极致的多样性优先 → 输出丰富，但质量不可控 权衡轴： 质量 ←──────────────────→ 多样性 Beam Search 贪心 Top-P采样 速度 ←──────────────────→ 质量 贪心/采样 Beam Search(k大)

一句话概括：贪心解码追求速度但牺牲全局最优，Beam Search 追求质量但牺牲多样性和速度，随机采样追求多样性但牺牲稳定性——选择取决于任务对准确性、多样性和效率的优先级排序。