建站实战干货

1.loos_spike（损失尖刺）

解决办法：　　1.梯度裁剪：对L2范数设置上限，防止爆炸

　　　　　　　2.学习率调度，采用warm-up或动态调整学习率

　　　　　　　3.辅助损失、正则化

　　　　　　　4.混合精度训练

　　　　　　　5.数据清洗，批次归一化