为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根)

这是一个非常经典且深刻的问题。简单来说,在 Transformer 的注意力机制中进行 Scaled(缩放),是为了防止梯度消失,保证模型训练的稳定性。如果不除以dk\sqrt{d_k}d