非功能性指标

目录
  • 一、视觉成色 AI 非功能性指标
  • 二、检测结果结构化指标
  • 三、分级一致性监控指标
  • 四、总结

针对 Phase 1(视觉成色 AI + 检测结构化 + 分级一致性监控),非功能性需求(Non-Functional Requirements, NFRs)主要关注系统的 稳定性、可用性、性能、可维护性 等,而不仅仅是模型准确度。下面我给你列一套可落地指标,既贴近小团队,也贴近运营目标。


一、视觉成色 AI 非功能性指标

指标类别 指标 建议目标 / 说明
准确度 / 精度 Top-1 Grade Accuracy ≥85%(作为辅助工具即可,人工复核灰区)
Top-2 包含率 ≥95%(辅助 QC 时保证不漏判)
置信度输出 Confidence Calibration 模型输出概率与真实概率偏差 < ±10%
处理速度 单张图片处理时长 ≤1秒 / 张(保证 QC 流程顺畅)
吞吐量 批量处理能力 ≥500–1000 台/批次(根据业务高峰需求)
可用性 系统在线率 ≥99%(内部使用,不需要面向客户,但不能长时间挂掉)
可解释性 输出可视化标记 每个划痕/瑕疵在图片上标记,方便人工复核
可维护性 模型更新 / 迭代 支持快速微调(每次迭代 ≤1天),方便业务标准调整
一致性监控 批次分布异常检测 能实时报警单个 QC 或批次偏差 ≥2σ

二、检测结果结构化指标

指标类别 指标 建议目标 / 说明
数据完整性 每台设备输出字段完整率 ≥99%
数据标准化 型号 / 品类统一命名比例 ≥98%
接口可靠性 API 响应成功率 ≥99%
数据延迟 结构化数据可用时延 ≤1分钟(QC 流程实时反馈即可)

三、分级一致性监控指标

指标类别 指标 建议目标 / 说明
批次一致性 同一批次 Grade 偏差 单批次 Grade 偏差 ≤5%
人机一致性 AI 输出与人工复核一致率 ≥90%(灰区由人工复核)
异常报警 批次异常识别准确率 ≥95%(避免漏掉 QC 异常)
报告生成 自动生成 QC 异常报告 ≤5分钟生成完成,供主管查看

四、总结

Phase 1 的非功能指标 核心目标

  1. 辅助而非替代 → 准确率不需要 100%,保证高置信度灰区可复核即可
  2. 实时/高吞吐 → QC 流程不能被模型拖慢
  3. 一致性可控 → 批次、人员差异被量化、可报警
  4. 可维护可迭代 → 小团队可以快速微调标准

如果你愿意,我可以帮你画一张 Phase 1 指标矩阵图,横向是 AI/数据/监控模块,纵向是性能、准确度、一致性等 NFRs,直观展示每个指标目标和落地方式。

你希望我画吗?