大模型知识（一）RoPE证明

参考视频通俗易懂-大模型的关键技术之一旋转位置编码rope 2_哔哩哔哩_bilibili1. 从内积的角度证明证明目标在xm和xn成立的情况下表达式1和2成立表达式3成立首先表达式1和2中的两部分一部分用欧拉公式可以变形一部分是表示成虚数形式的二维向量化简后可以写成向量形式然后将表达式1和2内积化简得到3图中有个错误如下图2. 从公式的角度证明RoPE给出的公式是g函数入参是xm,xn,m-n化简后得到3式结果3. 从旋转矩阵的角度证明旋转矩阵的性质在矩阵群特别是旋转群中乘法对应着角度的叠加而逆矩阵对应着角度的反向取负即撤销旋转。拓展到多维三维及以上的情况注意向量维度必须为偶数将高维向量拆分成多个二维平面在每个平面上独立地进行“旋转”来编码位置信息。