ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

为什么q.k的维度一大就容易导致梯度消失,为什么attention要用√d_k来作为缩放因子,又是怎么起效果的。作为记录

2026/9/24 2:03:13 拓冰建站 浏览量
为什么q.k的维度一大就容易导致梯度消失,为什么attention要用√d_k来作为缩放因子,又是怎么起效果的。作为记录