CANN/cannbot-skills 性能与精度对比

性能与精度对比Compare【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills用途迁移前基线与迁移后昇腾的精度、延迟、吞吐等指标对比必须写明测量口径否则对比无效。填写说明用实际数据替换表格中的占位符可附加图表路径或链接。与代码级迁移适配测试的区别本文档以数据集/基准集上的指标为主。固定输入的推理 smoke、单 batch 训练 smoke 等「代码/链路是否跑通」的验证请记在 Mig_report.md §6二者互补。测量责任划分science-model-npu-migration约定须先完成在昇腾NPU上完成与本表口径一致的推理及若项目适用训练相关指标采集并优先填满§2.4「昇腾 NPU」、§3「迁移后」、§4 NPU 列。基线数据优先从项目内完整训练日志直接摘录见§2.1无可用日志时默认GPU baseline由用户按Mig_Readme.md§2.6自行测试后回填「基线 GPU」列不由 agent 代跑未回填前填N/A备注写明「待用户自测」或已约定回填时间。1. 对比摘要项结论精度是否达标是 / 否性能是否达标是 / 否总体结论通过 / 不通过 / 带条件通过2. 环境与口径必须先对齐2.0 测量顺序推荐NPU 侧训练与推理须先完成先在昇腾 NPU完成与本表一致的推理及若适用训练指标采集并完成短测/冒烟/约定性能等与本表对齐的落盘优先填满§2.4「昇腾 NPU」行、§3迁移后列、§4NPU 列不要求此时已具备 CPU/GPU 基线数字。基线日志优先否则 GPU 自测先在项目中检索完整训练日志若满足§2.1可直接引用则摘录填入基线列并注明日志路径。无可用日志或日志缺项如缺推理延迟时在Mig_Readme.md§2.6给出GPU训练若适用与推理调用接口由用户在 GPU 环境自行执行并回传agent不代跑用户回填「基线 GPU」列CPU 仅作可选对照非默认。与 §2.1 的关系本节规定NPU 先、基线后日志摘录或用户侧 GPU 补采权威 baseline 来源仍由§2.1决定归档Summary.md的 baseline 说明须与 §2.1、§4 一致。2.1 基线环境日志优先 / 默认 GPU基线选取性能与精度对比项目内完整训练日志优先若仓库已有完整训练日志——至少含与验收对齐的关键指标loss、精度或延迟/吞吐之一、数据集或划分说明、环境与 batch/超参等可核对信息——则直接作为 baseline从日志摘录填入下表与 §3、§4并在「基线日志路径」注明文件/目录无需重跑。无可用日志时默认 GPU性能对比默认 baseline 为 GPU由用户按Mig_Readme.md§2.6在 GPU 上补采agent 不代跑。无可用 GPU 时基线列填N/A备注写明原因勿在缺 baseline 时给出误导性达标结论。CPU 对照可选仅在项目明确要求或日志本身为 CPU 训练时填写 CPU 列非默认 baseline。最终对比结论须写清baseline 来自项目日志路径还是GPU 实测以及选用原因。字段值基线来源项目训练日志 / GPU 实测§2.6 / N/A基线日志路径若适用硬件型号GPU 或日志中记载框架与版本框架/工程栈Batch size测量日期备注日志摘录说明 / 待补采 / 缺 GPU字段CPU 对照可选GPU 基线默认硬件型号框架与版本Batch size测量日期备注2.2 迁移后环境昇腾CANN / 框架 Ascend 插件 / 设备可见性等细节以mig_docs/working/environment.md为准本节填测量当时摘要即可。字段值Ascend 型号CANN / 运行时入口脚本 / checkpoint 路径Batch size测量日期2.3 测量口径必填延迟定义端到端 / 仅推理内核 / 分段请勾选并描述起止点Warmup 次数采样次数 / iterations统计量mean / p50 / p95 / 其他吞吐定义samples/s 或 images/s是否含 batch2.4 数据集与测试用途必填与Mig_Readme.md§3.1对齐写明本表精度/性能数字分别对应哪一数据集短测、冒烟、全量等若与Mig_Readme不一致须说明原因。下载与目录约定见同文件§3.2环境准备操作目标见docs/environment-setup-objectives.md。填写顺序先完成昇腾 NPU行基线行优先从项目训练日志摘录否则待用户按§2.6在GPU上补采后回填可与 NPU 行不同步完成。本表指标来源数据集名称/版本子集或划分用途短测/冒烟/全量等基线日志或 GPU精度/性能基线 CPU 对照可选昇腾 NPU 精度/性能3. 精度对比迁移后NPU列须先填基线列优先从项目训练日志摘录否则由用户按Mig_Readme§2.6 在GPU上自测后回填。指标名称基线迁移后差值阈值是否达标如 Top-1 / mAP / MAE3.1 Golden 样本数值一致性容差须按目标精度调整本 skill 默认FP16不能套用 FP32 级阈值如atol 1e-5。FP16 有效位约 3 位、最小正规数约 6e-5NPU 与 GPU 正常舍入差即可超过 1e-5照抄 FP32 阈值会在默认 FP16 路径上几乎必然判为「精度不达标」。目标精度建议 rtol建议 atol说明FP16默认1e-2 ~ 1e-3~1e-3逐元素对齐抽查见 part-07 Golden 命令示例FP321e-5 ~ 1e-41e-5 ~ 1e-6更严逐元素对齐BF161e-2 ~ 1e-3~1e-2与 FP16 同量级视任务可略放宽样本 ID基线输出摘要NPU 输出摘要最大绝对误差 / 备注所用容差rtol / atol与目标精度4. 性能对比baseline vs NPUNPU迁移后列须先完成基线优先从项目训练日志摘录否则由用户在GPU上自测回填见 §2.0、Mig_Readme.md§2.6。定稿对比结论前须补齐 §2.1 规定的 baseline 或N/A 原因。本次性能结论所依据的 baseline按§2.1——有完整训练日志则直接引用否则默认 GPU在此写明「日志路径 / GPU 实测 / N/A」。与归档对齐Summary.md 须写明 baseline来源项目日志或 GPU 实测及选用原因与本节及 §2.1 表述一致。CPU 列仅作可选对照未采集时在表中填N/A并说明原因。指标CPU 基线GPU 基线NPU迁移后对 CPU 提升/回退对 GPU 提升/回退目标是否达标延迟 p50 (ms)延迟 p95 (ms)吞吐 (samples/s 或 images/s)4.1 分阶段耗时若已拆分阶段基线 (ms)迁移后 (ms)备注预处理推理后处理5. 瓶颈与后续优化当前瓶颈推测IO / 预处理 / 后处理 / 推理内核 / 并发已尝试优化待办6. 原始记录路径便于审计基线来源日志项目内完整训练日志路径或用户在 GPU 环境执行 §2.6 时产生的评测日志由用户回填昇腾评测日志Profiling 结果如有7. 相关文档Mig_report.mdMig_Readme.mdSummary.mdpart-05-performance-accuracy.md测量顺序 §7.0、训练短测 §8.1.1workflow.md8. 归档引用测试完成后将本文件结论汇总至Summary.md最终交付。若训练与推理结论不一致须在 Summary 中单独说明适用边界。【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考