看懂Kimi-K2.5-Eagle3-FP8的config.jsonQuark FP8量化元数据字段完全解读【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8当你第一次打开 Kimi-K2.5-Eagle3-FP8 这个模型的config.json面对一大堆陌生的字段名是不是有点头大这份配置文件中藏着 AMD Quark 导出的完整 FP8 量化元数据是模型能否被推理引擎正确加载的关键。本文将带你逐字段拆解config.json中的quantization_config让你彻底看懂这份 FP8 量化说明书无论是排查加载报错还是研究量化方案都能事半功倍。Kimi-K2.5-Eagle3-FP8是什么FP8量化草稿模型简介在拆字段之前先搞清楚这个模型的定位。Kimi-K2.5-Eagle3-FP8 是 Kimi-K2.5 Eagle3 的 FP8 量化版本采用AMD Quark工具量化导出。它本身是一个Eagle3 MTP 草稿模型draft model用途是配合 Kimi-K2.5 主模型做**投机解码speculative decoding**加速推理。值得注意的量化特点权重量化FP8 E4M3、静态、per-channel、对称激活量化FP8 E4M3、动态、per-channel、对称fc投影层与lm_headLM head故意不量化采用 file-to-file 量化无需校准数据集config.json在模型中的角色量化元数据的说明书config.json是 HuggingFace 模型仓库的身份证加载模型时 transformers 会先解析它。在configuration_kimi_k25.py中模型配置对象会透传quantization_config字段供后续量化权重反量化使用。整个文件由两部分构成模型基础架构参数hidden_size、num_attention_heads等和quantization_configFP8 量化元数据。本文重点解读后者。quantization_config字段完全解读quant_method与version标识Quark FP8量化方案quantization_config的开头两行是最重要的身份标识quant_method: quark, version: 0.125bd6865d5caquant_method: quark告诉推理引擎这套元数据来自 AMD Quark应调用对应的 Quark 量化处理逻辑versionQuark 版本号用于兼容性判断如果推理引擎不支持quark方法加载时会直接报错——这就是很多模型加载失败问题的根源。global_quant_config全局量化参数这是整个配置的核心包含weight权重、input_tensors激活、bias三部分。其中bias为null说明偏置不量化。权重量化weight字段解析字段值含义dtypefp8_e4m3FP8 数据类型E4M3 格式精度更高is_dynamicfalse静态量化scale 预先计算好并固定qschemeper_channel按通道粒度量化ch_axis0量化通道轴为第 0 维symmetrictrue对称量化零点为 0round_methodhalf_even四舍六入五成双的舍入方式observer_clsPerChannelMinMaxObserver用 Min-Max 方法统计量化范围激活量化input_tensors字段解析激活量化和权重最核心的区别是is_dynamic: true——动态量化scale 在推理运行时实时计算字段值含义is_dynamictrue动态量化运行时计算 scalech_axis1激活的量化通道轴为第 1 维max_input_numel4194304单次激活量化的最大元素数上限可以看到权重是静态 通道轴 0激活是动态 通道轴 1这是典型的 per-channel FP8 量化方案ptpc_fp8兼顾精度与性能。exclude字段为什么fc和lm_head不量化exclude数组指定了跳过量化的层exclude: [ re:.*fc.*, re:.*lm_head.* ]其中re:前缀表示正则表达式匹配。fc投影层和lm_head输出层被排除在量化之外保持 BF16 精度——这正是 README 中提到的no-lm-head-quantization设计对最终输出质量影响最大。⚠️vLLM 部署重要提示如果 Quark 导出的是普通字符串形式如fc、lm_head在作为 vLLM 草稿模型使用时需要手动改为上面的re:正则格式否则匹配逻辑可能失效。export字段导出格式说明export对象描述量化权重的落盘方式weight_format: real_quantized权重以真实量化格式存储FP8 数值 独立 scalepack_method: reorder使用 reorder 打包方式便于硬件高效读取min_kv_scale: 0.0KV cache 最小 scale 阈值kv_cache_group: []KV cache 分组为空本模型未量化 KV cache从weight_scale文件看量化权重如何落地光看配置还不够打开model.safetensors.index.json你会看到每个量化权重旁边都多了一个weight_scale文件条目。以midlayer.mlp为例midlayer.mlp.down_proj.weight: model-00001-of-00002.safetensors, midlayer.mlp.down_proj.weight_scale: model-00001-of-00002.safetensors这说明量化权重在磁盘上是FP8 权重 独立的 scale 张量成对存储推理时由引擎读取并反量化。被量化的层包括midlayer.self_attnq_proj、k_proj、v_proj、o_projmidlayer.mlpgate_proj、up_proj、down_proj而embed_tokens.weight、norm.weight、fc.weight、lm_head.weight都没有对应的weight_scale与exclude配置完全吻合。部署注意事项vLLM加载FP8草稿模型的要点最后总结几个实战要点避免踩坑硬件要求官方支持目标为 AMD Instinct MI355X运行环境需 ROCm 7.0.0 vLLMexclude 正则格式务必使用re:.*fc.*形式这是 vLLM 正确识别排除层的必要条件量化层匹配可通过model.safetensors.index.json中是否含weight_scale快速确认哪些层被量化用途定位它是 Eagle3 草稿模型需配合 Kimi-K2.5 主模型通过--speculative-config使用总结通过这次对 Kimi-K2.5-Eagle3-FP8 的config.json逐字段拆解可以看到一份完整的 Quark FP8 量化元数据包含量化方法标识quant_method、全局量化参数global_quant_config、排除层列表exclude和导出格式export。理解了这些字段你就能看懂任何 AMD Quark FP8 模型的配置也能更从容地排查加载问题。量化不是黑盒读懂了配置你就掌握了模型的体检报告。【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考