目录前言1. 引言2. 示例独立变量的高斯分布3. 结语结语参考前言学习 Steven Brunton 讲授的概率与统计入门概述视频本篇文章记录第四十二讲协方差与相关性示例高斯分布记录下个人学习笔记和大家一起分享交流videohttps://www.youtube.com/playlist?listPLMrJAkhIeNNR3sNYvfgiKgcStwuPSts9V1. 引言在上节课中我们介绍了协方差与相关性的概念这是能够揭示两个随机变量X XX与Y YY之间联合依赖关系的重要特性。我们以二维高斯分布为例这种X XX和Y YY的联合概率分布可以想象成向靶盘投掷飞镖时落点会呈现出高斯分布的密度模式。现在我用等高线的形式重新绘制这些分布当X XX和Y YY的分布非常集中时其协方差与相关性都会很高当分布曲线斜率略缓、形态略宽时表现为更扁平的分布和更小的斜率此时X XX与Y YY的协方差会降低最终当分布呈现完美的径向对称时即不存在任何主导方向也就没有明显的聚集方向此时X XX与Y YY的协方差为零。它们实际上是相互独立的随机变量对吧当X XX与Y YY相互独立时协方差将为零。我之前多次提到过这种具有径向对称性的二维高斯分布中X XX和Y YY实际上是相互独立的现在我来具体说明一下因为之前一直没点明我觉得通过实际证明会更有助于理解这一结论可推广至多元高斯分布也称为多维高斯分布/高维正态分布。2. 示例独立变量的高斯分布若随机变量X XX的概率密度函数为f X ( x ) 1 2 π e − x 2 2 f_X(x) \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}fX​(x)2π​1​e−2x2​这里假设分布以 0 为中心且标准差为 1这样能简化计算实际取值并不受此限制。假设变量Y YY的概率分布f Y ( y ) f_Y(y)fY​(y)与前者完全相同f Y ( y ) 1 2 π e − y 2 2 f_Y(y) \frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}}fY​(y)2π​1​e−2y2​这是一个以 0 为中心的单位正态高斯分布。接下来将这两个函数相乘这里正是体现独立性的关键步骤联合分布函数f ( x , y ) f(x,y)f(x,y)实际上就是这两个函数的乘积现在我们将这两个函数相乘观察结果f ( x , y ) f X ( x ) f Y ( y ) 1 2 π e − ( x 2 y 2 ) 2 f(x,y)f_X(x) \, f_Y(y) \frac{1}{2\pi} e^{-\frac{(x^2y^2)}{2}}f(x,y)fX​(x)fY​(y)2π1​e−2(x2y2)​这里要说明的是该表达式正是f X ( x ) f_X(x)fX​(x)与f Y ( y ) f_Y(y)fY​(y)的乘积这完全符合径向对称性这里的r 2 x 2 y 2 r^2x^2y^2r2x2y2是一个变量因此当前的概率密度是距离中心点半径的函数这与我们的预期相符这就是二维高斯分布的特性。我们刚才已经证明了X XX和Y YY实际上是相互独立的若存在二维多元高斯分布则其X XX与Y YY分量相互独立这意味着二者的协方差应为零。建议你通过实际模拟来验证这一点请按照高斯分布的概率规律投掷随机飞镖你可以使用 Python 中的randn函数生成服从正态分布的随机变量来实现这一点请投掷大量随机飞镖通过求和计算期望值 — 将所有数值相加最终证明样本期望值无限趋近于零。这个方法同样适用于更高维度的场景我可以构建一个包含X XX、Y YY和Z ZZ的三维多元高斯分布我可以构建包含若干独立或相关变量的n nn维多元高斯分布由此得到的公式仍能准确量化各分量间的协方差与相关性。因此这适用于X XX与Y YY相互独立的情况若两者方差不同指数部分分母中的两个σ 2 \sigma^2σ2将取不同值若方差不同则会得到被拉伸的椭球体若将椭球体旋转概率密度函数中便会出现使二者形成联合分布的有趣项实际上我需要旋转这个图形使其不再保持旋转对称性此时我们会发现这些情况下的协方差均不为零。3. 结语因此我们将在后续课程或练习中展开探讨开始研究具体会发生什么当X XX和Y YY之间存在非零协方差时如何构建这些概率密度函数但在简单的二维对称高斯分布中X XX和Y YY是相互独立的随机变量且协方差等于 0。结语本讲通过二维高斯分布的等高线图将 L41 的协方差从抽象公式翻译为几何直觉协方差 椭圆的方向与扁率。当联合分布f ( x , y ) f(x,y)f(x,y)呈现沿y x yxyx方向的细长椭圆时X XX与Y YY高度正相关—X XX偏离均值的幅度与Y YY的偏离高度同步当椭圆趋于扁平且斜率减小时协方差降低当等高线变成完美的同心圆时—即f ( x , y ) 1 2 π e − ( x 2 y 2 ) / 2 f(x,y) \frac{1}{2\pi} e^{-(x^2y^2)/2}f(x,y)2π1​e−(x2y2)/2仅依赖于径向距离r x 2 y 2 r \sqrt{x^2y^2}rx2y2​—协方差恰好为零X XX与Y YY相互独立。Brunton 通过标准正态的乘积直接证明了径向对称情况下独立性的成立f X ( x ) ⋅ f Y ( y ) 1 2 π e − x 2 / 2 ⋅ 1 2 π e − y 2 / 2 1 2 π e − ( x 2 y 2 ) / 2 f ( x , y ) f_X(x) \cdot f_Y(y) \frac{1}{\sqrt{2\pi}}e^{-x^2/2} \cdot \frac{1}{\sqrt{2\pi}}e^{-y^2/2} \frac{1}{2\pi}e^{-(x^2y^2)/2} f(x,y)fX​(x)⋅fY​(y)2π​1​e−x2/2⋅2π​1​e−y2/22π1​e−(x2y2)/2f(x,y)。这一简单的代数推导揭示了二维高斯分布的一个重要特例—各向同性高斯isotropic Gaussian其中协方差矩阵退化为单位矩阵I II所有方向上的方差相等无任何方向性偏好。从这一基线出发Brunton 勾勒了多元高斯分布的完整变形空间(1) 不同方差 → 沿坐标轴拉伸的椭圆协方差矩阵为对角但非单位(2) 旋转 → 引入非对角协方差项Cov ( X , Y ) ≠ 0 \text{Cov}(X,Y) \neq 0Cov(X,Y)0密度函数中出现交叉项x y / σ x y x y / \sigma_{xy}xy/σxy​椭圆的轴不再平行于坐标轴。这种 “拉伸 旋转 非零协方差” 的几何直观直接导向协方差矩阵的谱分解特征向量 椭圆主轴方向特征值 沿各主轴的方差。这正是 PCA 在二维情形下的完整几何原型—找到数据协方差矩阵的特征方向即找到最大化方差信息量的投影轴 。参考https://www.youtube.com/playlist?listPLMrJAkhIeNNR3sNYvfgiKgcStwuPSts9V