注意力权重混合量化实战在 ik_llama.cpp 中用 attn_q Q4 / attn_v Q6 提升 Llama 3.1 Q5_K_S 模型质量【免费下载链接】ik_llama.cppllama.cpp fork with additional SOTA quants and improved performance项目地址: https://gitcode.com/GitHub_Trending/ik/ik_llama.cpp本篇文章以 ik_llama.cpp 仓库中的 PR #96Quant strategies: attn_q Q4 attn_v Q6 for Llama 3.1 Q5_K_S为核心系统讲解注意力权重差异化量化这一通用策略对attn_q.weight降一档位、对attn_v.weight升一档位从而在不增加甚至降低模型体积的前提下改善量化质量。你将掌握如何在 llama-quantize 中通过--attn-q-type/--attn-v-type复现该配方、如何用 PPL 与模型体积量化收益以及这一模式为何能成为 ik_llama.cpp 内置 Q5_K_S 混合量化策略的底层原理。一、PR #96 的核心配方一个降一档、升一档的量化模式PR #96 由贡献者Nexesenex于 2024 年 10 月提交2024-11-22 最后更新主题是针对 Llama 3.1 的 Q5_K_S 量化做张量级差异化处理。其核心模式可以概括为一句话Pattern (attn-q −1, attn-v 1)把attn_q张量降到比默认档位低一级Q5_K → Q4_K把attn_v张量升到比默认档位高一级Q5_K → Q6_K。提交者在描述中明确给出了该配方的收益指标70B 模型8B 模型PPL 512对比普通 Q5_K_S−0.024−0.005模型体积变化−640 MiB−64 MiB即困惑度Perplexity下降的同时模型文件反而更小。更引人注目的是70B 模型在采用该策略后其 Q5_K_S 量化版本以−0.012 PPL的优势反超了默认的 Q5_K_M——注意这里使用的是相同的 bf16 源模型和相同的 imatrix排除了源模型质量差异的干扰。PR 在 2024-10-19 当天即获得项目作者ikawrakow的APPROVED评审通过评审意见直接点明了该模式的普适价值Yes, reducing bpw forattn_qand increasingbpwforattn_vis a good strategy to improve quantized model performance in general in my experience. 是的降低attn_q的每权重比特数bpw并提高attn_v的 bpw是我经验中普遍能改善量化模型性能的好策略。这等于项目作者为注意力 Q/V 不对称量化提供了官方背书。二、原理剖析为什么 attn_v 值得更多比特、attn_q 可以更省这一策略并非经验玄学而是建立在模型结构与量化误差传播的客观事实上。结合 src/llama-quantize.cpp 的源码我们可以从三个层面理解其有效性。2.1 70B 模型中 attn_v 张量的高性价比在 src/llama-quantize.cpp 的attn_v.weight处理分支中有一段直接点明原因的注释In the 70B model we have 8 heads sharing the same attn_v weights. As a result, the attn_v.weight tensor is 8x smaller compared to attn_q.weight. Hence, we can get a nice boost in quantization accuracy with nearly negligible increase in model size by quantizing this tensor with more bits 70B 模型中 8 个注意力头共享同一份attn_v权重因此attn_v.weight张量只有attn_q.weight的 1/8 大小。用更多比特量化该张量能以几乎可忽略的体积增长换来明显的量化精度提升。这正是升 attn_v一档Q5_K → Q6_K在 70B 上既降 PPL 又减体积的原因被提升精度的张量体积占比极小而精度收益却真实存在。该注释所在的代码块同时也说明对于 4–8 expert 的 MoE 模型attn_v会被直接提升到 Q8_0代价仅约 128MB。2.2 attn_q 对量化的低敏感度提交者在 PR 中补充了自己的观察他在为自己的用途制作 IQ3_L 量化策略时发现Llama 3 对attn_q的量化相当不敏感——这正是可以把attn_q降一档Q5_K → Q4_K而不明显损失质量的依据。从源码结构看这一判断在 attn_q 分支 中得到了印证对于 Q5_K_S / IQ5_K / IQ5_KS 等类型只要满足n_vocab 127999且模型为 8B/70Battn_q就会被自动降级Q5_K → Q4_K、IQ5_K → IQ4_K、IQ5_KS → IQ4_KS。2.3 该模式已被固化进内置 Q5_K_S 策略从当前仓库源码看PR #96 提出的模式已经完整落进了 llama-quantize 的内置混合量化规则。在 Q5_K_SLLAMA_FTYPE_MOSTLY_Q5_K_S分支下attn_v 升档src/llama-quantize.cpp当n_vocab 127999且模型为MODEL_8B或MODEL_70B时attn_v.weight从 Q5_K 提升为Q6_Kattn_q 降档src/llama-quantize.cpp同样的模型条件下attn_q.weight从 Q5_K 降为Q4_K。而n_vocab 127999正是 Llama 3.1 系列词表 128256的判别条件。也就是说现在直接运行llama-quantize ... Q5_K_S生成 Llama 3.1 8B/70B 量化模型时默认就会自动应用 attn_q Q4 attn_v Q6 的配方无需任何额外参数。三、动手复现用 llama-quantize 自定义张量级量化类型PR #96 的价值不仅在于内置规则更在于它展示了**张量级量化覆盖override**的用法——当你对某个模型有自己的观察时可以绕过内置策略完全手工指定每个注意力张量的类型。3.1 构建 llama-quantize该工具随项目一起构建构建说明见 README.mdcmake -B build -DGGML_NATIVEON # CPU 构建 cmake --build build --config Release -j$(nproc) # GPUCUDA构建 cmake -B build -DGGML_NATIVEON -DGGML_CUDAON cmake --build build --config Release -j$(nproc)构建产物位于build/bin/llama-quantize。3.2 准备 imatrix重要性矩阵精确量化k-quant / i-quant 的混合策略严重依赖 imatrix。先用llama-imatrix对 bf16/f16 源模型计算重要性矩阵再在量化时通过--imatrix传入./build/bin/llama-imatrix -m /path/to/model.bf16.gguf -f /path/to/calibration.txt -o /path/to/imatrix.datPR 中的对比数据70B Q5_K_S 反超 Q5_K_M正是在相同 bf16 源模型 相同 imatrix前提下得出的因此复现实验时务必保持这两个输入一致否则数据不可比。3.3 复现 attn_q Q4 attn_v Q6 配方针对 Llama 3.1 8B/70B 的 bf16 源模型执行./build/bin/llama-quantize \ --imatrix /path/to/imatrix.dat \ --attn-q-type Q4_K \ --attn-v-type Q6_K \ /path/to/model.bf16.gguf \ /path/to/model.Q5_K_S.gguf \ Q5_K_S命令格式为llama-quantize [参数...] model-f32.gguf [model-quant.gguf] type [nthreads]。其中--attn-q-type与--attn-v-type分别覆盖attn_q.weight与attn_v.weight两个张量的量化类型。3.4 可用的张量级覆盖参数从 llama-quantize 的 usage 帮助 可以看到这类参数属于CQScustom quant scheme默认 Q2_K体系覆盖了注意力与 FFN 的全部关键张量参数作用对象--attn-q-type ggml_typeattn_q.weight查询权重--attn-k-type ggml_typeattn_k.weight键权重--attn-v-type ggml_typeattn_v.weight值权重--attn-qkv-type ggml_typeattn_qkv.weight部分模型上替代上述三者--attn-output-type ggml_typeattn_output.weight注意力输出投影--ffn-gate-type ggml_typeffn_gate门控权重--ffn-down-type ggml_typeffn_down下投影权重--ffn-up-type ggml_typeffn_up上投影权重--ffn-gate-inp-type ggml_typeffn_gate_inp门控输入MoE 路由类型写法遵循qN_Nlegacy、qN_Kk-quant、iqN_xxi-quant的命名规则例如Q4_K、Q5_K、Q6_K、IQ4_K、IQ5_K等均可作为参数值。3.5 官方推荐的组合经验帮助文档里还给出了与 PR #96 完全一致的通用经验examples/quantize/quantize.cppUsually, attn-q-type can be one type below the chosen ffn type, and attn-v-type should be one type above. 通常attn-q-type可以比所选 FFN 类型低一档而attn-v-type应该高一档。这正对应 PR 的 (attn-q −1, attn-v 1) 模式可以作为你设计自己混合策略的起点。四、效果验证PPL 与体积的双重检验PR 采用的标准验证手段是llama-perplexityPPL 512即上下文 512 token 的困惑度评估这也是量化策略迭代的事实标准./build/bin/llama-perplexity -m /path/to/model.Q5_K_S.gguf -f /path/to/test-data.txt --ctx-size 512实验要点回顾70BPPL 512 下降 0.024体积下降 640 MiBQ5_K_S 配方版以 0.012 PPL 的优势胜过默认 Q5_K_M8BPPL 512 下降 0.005体积下降 64 MiB方向一致但幅度更小。需要说明的是PPL 的绝对收益随模型规模放大——70B 上attn_v张量因 8 头共享而占比更小升档成本更低收益反而更明显8B 模型上attn_v的相对体积更大升档会抵消部分体积收益所以净收益更温和。这也提示我们该配方在 70B 这类大模型上价值最高。五、推广与边界把配方扩展到更多量化级别PR 提交者在描述中明确提出了后续推广计划这也被作者接受Sure, go ahead.在更多量化级别上验证该模式Q_x_K如 Q3_K、Q4_K、Q5_K_M、IQx如 IQ4_XS、IQ4_NL与IQx_K如 IQ2_K、IQ3_K、IQ4_K、IQ5_K系列在Llama 3.0上做确认实验作者推测 Llama 3 对 attn_q 量化不敏感的特性同样成立将IQ_K 与 legacy IQ quant在混合配方中分开处理对话中提到的 Shall I separate the IQ_K from the legacy IQ Quants in the mixes?。从当前仓库源码看这一推广思路同样已在内置策略中体现在 attn_v 的完整处理分支 中Q/V 不对称逻辑几乎覆盖了所有量化家族——例如 Q3_K_M/Q3_K_L、Q4_K_M/Q5_K_M 下attn_v升到 Q5_K/Q6_KIQ4_KS/IQ4_K 等类型下升到 IQ5_K且大量规则会根据n_gqa()分组查询头数与n_expert专家数做条件放行n_gqa 2时几乎无条件为attn_v升档。这意味着该配方已经发展为一套按模型结构自适应的规则体系而不仅仅是针对 Llama 3.1 的补丁。边界提醒升档attn_v并非没有代价——在attn_v张量体积占比更大的中小模型如 8B上收益会被体积回填部分抵消而对于 GQA 较少、attn_v占比高的架构升档成本需重新评估。PR 中worth to be tested的措辞也说明这类策略必须结合具体模型实测不宜盲目套用。六、工程经验量化策略的迭代开发方法论PR 对话中还有一段非常有价值的工程讨论值得量化研究者借鉴。6.1 编译时间不是迭代瓶颈提交者曾提议把量化策略代码从llama.cpp主源文件中拆出以缩短重编译时间作者的回应给出了量化的时间账编译 15 秒7B 量化 15 秒PPL 测试 60 秒单模型小模型场景下编译时间最多约占整体测试周期的 ~15%而作者本人的惯例是每次至少验证 5 个模型再下结论此时编译时间占比趋近于可忽略结论若想改出真正稳健的量化策略应把时间投入多模型 完整 PPL 流程而不是优化编译速度。6.2 内置参数覆盖不了自定义 use-more-bits 公式提交者提到自己大量使用自定义的 use-more-bits 公式按层数/序号决定哪些层用更多比特这类公式无法通过 CLI 参数表达只能改源码因此反复重编译成为实际痛点。这与 src/llama-quantize.cpp 中的use_more_bitslambda控制哪些层/哪些张量获得更高比特直接对应——源码中 Q4_K_M/Q5_K_M 的attn_v升 Q6_KL631-L632正是由它驱动。值得一提的是从仓库演进看这一痛点后来催生了更灵活的机制README 记录的自定义量化混编Custom quantization mixes using regular expressionsREADME.md允许直接用正则表达式描述张量级混编规则把原本需要改代码的工作下沉到了命令行进一步降低了量化策略实验的门槛。七、总结PR #96 以一组干净的数据和一条简单的规则为 llama.cpp 生态的量化策略贡献了一个经典范式attn_q降一档、attn_v升一档。它之所以有效是因为注意力 Q/V 在量化误差传播中天然不对称——attn_v张量尤其在 70B 多头共享结构下体积小、精度敏感、升档成本低而attn_q对量化宽容、降档几乎无感。这一模式如今已成为 ik_llama.cpp 内置 Q5_K_S乃至跨多个量化家族混合策略的组成部分同时也为张量级自定义量化提供了一份可直接复用的命令行范例。对于任何想探索自己量化配方的开发者从这套 (attn-q −1, attn-v 1) 经验出发配合 imatrix 与多模型 PPL 验证是一条低成本、高回报的路径。【免费下载链接】ik_llama.cppllama.cpp fork with additional SOTA quants and improved performance项目地址: https://gitcode.com/GitHub_Trending/ik/ik_llama.cpp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考