模型评估与调优——别只看准确率，这些指标更有用

到了第七篇咱们聊聊一个特别无聊但极其关键的话题——你怎么知道你的模型到底好不好我见过太多项目算法工程师兴高采烈地报告准确率95%结果上线的第一天就被业务方骂回来了。因为业务方发现95%的准确率下面藏着正样本漏了90%、负样本全抓对了这种极端偏科的情况。准确率是最骗人的指标没有之一准确率预测正确的样本数/总样本数。如果数据是平衡的正负各一半准确率还能反映真实情况。但现实里几乎所有分类任务的数据都是不平衡的。比如罕见病预测——10000个人里只有1个病人。你做一个永远预测没病的模型准确率是9999/1000099.99%看起来神级表现但一个病人都没抓到。这就是准确率的陷阱——它被负样本的海量正确给淹没了。所以必须引入其他指标。混淆矩阵——所有评价指标的老祖宗混淆矩阵是一个2x2的表格记录四种情况真阳性TP有病且预测有病、假阳性FP没病但预测有病也叫误报、假阴性FN有病但预测没病也叫漏报、真阴性TN没病且预测没病。从这个矩阵能衍生出所有你需要的评价指标。精确率Precision TP/(TPFP)——模型说是的时候有多大概率说对了。精确率低意味着误报多比如垃圾邮件过滤器误把正常邮件标成垃圾。召回率Recall TP/(TPFN)——所有真正是的样本里模型抓住了多少。召回率低意味着漏报多比如安检系统漏了危险品。F1-Score 2×(Precision×Recall)/(PrecisionRecall)——精确率和召回率的调和平均当两者悬殊时F1会很低只有两者都高F1才高。这是不平衡分类任务最常用的综合指标。ROC曲线与AUC——阈值无关的全面评价很多分类模型输出的不是标签而是一个概率0到1之间。你把阈值设为0.5概率高于0.5判为正、低于0.5判为负。但阈值可以调整——调低一点召回率上升但误报也上升调高一点误报下降但召回也下降。ROC曲线把不同阈值下的表现画成一条曲线横轴是假阳性率误报率纵轴是真阳性率召回率。一个随机猜测的模型的ROC曲线是一条45度对角线AUC0.5完美模型的曲线贴着左上角走AUC1.0。AUC曲线下面积是一个阈值无关的综合指标——它告诉你在所有可能的阈值下模型的平均表现。AUC越高模型区分正负样本的能力越强。在实际应用中AUC比准确率更能反映模型真实水平尤其在不平衡数据集上。回归任务的评价指标回归任务用的是另外一套指标MSE均方误差——误差的平方均值对大误差敏感。取值越小越好但跟数据的量纲相关没法跨数据集比较。MAE平均绝对误差——误差的绝对值均值对异常值不敏感。比MSE更稳但对小的误差不那么在意。R²决定系数——模型解释了多少百分比的方差。取值在0到1之间也可能为负如果你的模型比直接猜均值还差的话1表示完美预测。这是回归任务里最常用的归一化指标因为它是相对值可以跨数据集比较。过拟合的识别与防止前面几篇里零星提到过过拟合这里系统讲一下怎么识别和防止。过拟合的典型症状是训练集上的指标远好于验证集。比如训练集准确率99%验证集只有80%这就是明显的过拟合——模型把训练数据里的噪声和细节都记住了但没学到泛化的规律。防止过拟合的方法有很多交叉验证——把训练数据分成K份每次取一份做验证、其余K-1份做训练循环K次取平均。这样你所有的数据都当过验证集模型的性能估计更可靠。K通常取5或10。正则化——L1正则化Lasso会把不重要特征的系数压缩到0自动做特征选择L2正则化Ridge把所有系数往0压缩但不归零让模型更平滑。深度学习里的Weight Decay本质上就是L2正则化。早停Early Stopping——训练过程中每隔几个epoch在验证集上测一次如果验证集性能连续N个epoch没有提升甚至开始下降就提前终止训练。这是防止过拟合最简单有效的手段没有之一。Dropout——深度学习专用正则化方法训练时随机把一部分神经元的输出置为0让网络不能依赖任何单一路径强迫它学冗余、稳健的表征。数据增强——对图像做随机旋转、裁剪、翻转、色彩抖动相当于人工扩充训练数据。模型看到更多变体对具体像素位置的依赖降低泛化能力自然提升。超参数调优——最后的临门一脚模型结构、学习率、Batch Size、正则化系数、树的深度、迭代轮数——这些叫做超参数是在训练开始前设定的模型本身不会自动学习到最优值。超参数调优本质上就是一个试的过程但怎么试、按什么顺序试效率差很多网格搜索Grid Search——在超参数空间里打一个格点网格每个格点都跑一次实验。简单粗暴但计算量巨大——5个参数各取5个值就是3125次实验。随机搜索Random Search——在超参数空间里随机采样一组参数去跑。实验次数比网格搜索少很多而且在高维空间里效率远高于网格搜索——因为网格搜索在高维空间里格点间距太稀疏随机采样更容易覆盖好的区域。贝叶斯优化——用概率模型通常是高斯过程来猜测哪个超参数组合最有可能带来提升智能地选择下一个实验点。比随机搜索效率更高但实现复杂、计算开销也大。对于大多数项目随机搜索60-100组参数早停就已经足够找到不错的配置了。只有那些算力充沛、时间充裕的超大项目才值得上贝叶斯优化。评估中一个容易犯的错误数据泄露数据泄露是指训练过程中不经意地使用了测试集的信息。最常见的形式在数据归一化时用了全数据的均值和标准差应该是只用训练集的特征工程里用了未来信息比如预测明天的销量却用了明天的日期特征数据划分之前做了数据增强增强了之后才划分导致同一张图出现在训练和测试集里数据泄露是你的模型在测试集上表现得好得难以置信的头号原因。如果你们团队有人报告了一个远高于业界水平的指标第一反应不是我们太牛了而是是不是哪里泄露了。