如何用最小二乘法从零推导线性回归方程？（高中数学视角）

1. 什么是最小二乘法？

想象你面前有一张白纸，上面散落着十几个铅笔点。现在要画一条直线，让这些点尽可能靠近这条线——这就是最小二乘法要解决的核心问题。这个方法由法国数学家勒让德在1805年首次发表，后来高斯在预测谷神星轨道时也独立提出了相同思路。

最小二乘法的精妙之处在于它用数学量化了"接近程度"。具体来说，它会计算每个数据点到直线的垂直距离（称为残差），然后让这些距离的平方和达到最小。为什么用平方？因为这样既能避免正负抵消，又便于数学求导计算。在实际应用中，从经济学中的供需曲线到医学中的药物剂量反应，都能看到它的身影。

2. 从散点图到数学公式

假设我们收集了5组实验数据：(1,2)、(2,3)、(3,5)、(4,6)、(5,8)。把这些点画在坐标系里，能看出它们大致呈直线趋势。现在要用数学方法找到最匹配的直线方程 y = ax + b。

关键步骤是构建误差函数：

S = Σ(yi - axi - b)²

这个式子把每个点的预测误差平方后相加。当S最小时，对应的a和b就是最佳参数。为了找到最小值，我们需要分别对a和b求偏导并令其等于零。

求导过程其实很有意思：对b求导相当于固定斜率调整截距，对a求导则是固定截距调整斜率。最终会得到两个方程：

Σ(yi - axi - b) = 0 Σxi(yi - axi - b) = 0

这被称为正规方程组（normal equations），是推导过程中的重要里程碑。

3. 手动推导回归系数

让我们用具体数据演示计算过程。先计算几个关键量：

• x均值 = (1+2+3+4+5)/5 = 3
• y均值 = (2+3+5+6+8)/5 = 4.8
• Σ(xi - x̄)(yi - ȳ) = (1-3)(2-4.8)+...+(5-3)(8-4.8) = 16
• Σ(xi - x̄)² = (1-3)²+...+(5-3)² = 10

斜率a的计算公式为：

a = Σ(xi - x̄)(yi - ȳ) / Σ(xi - x̄)² = 16/10 = 1.6

截距b的计算公式为：

b = ȳ - a x̄ = 4.8 - 1.6×3 = 0

所以最终回归方程是 y = 1.6x。这个结果说明当x每增加1个单位，y平均增加1.6个单位。

有趣的是，回归直线一定会通过(x̄, ȳ)这个点——在我们例子中就是(3,4.8)。这个性质可以用来快速验证计算结果。

4. 几何意义与统计解释

从几何角度看，最小二乘法是在寻找数据点在特征空间中的最佳投影直线。残差就是各点到这条直线的垂直距离，而求解过程本质上是在最小化这些垂直线段的平方和。

统计上，这个方法有几个重要假设：

1. 线性关系：真实关系确实是线性的
2. 同方差性：误差项的方差应该恒定
3. 误差独立：各个误差之间没有相关性
4. 正态分布：误差最好服从正态分布（这对小样本很重要）

当这些条件满足时，最小二乘估计量具有BLUE性质（最佳线性无偏估计）。这意味着在同类估计方法中，它的方差最小。

5. 实际应用与注意事项

让我们用个生活案例：假设你记录了每周学习时间(x)和考试成绩(y)的关系。通过最小二乘法求得回归方程后，可以：

• 预测学习35小时可能得到的分数
• 判断学习时间对成绩的影响强度
• 评估这个预测模型的可靠性

使用时要注意几个坑：

1. 异常值会严重影响结果（一个离群点可能拽歪整条线）
2. 相关≠因果（可能是第三变量在影响）
3. 外推预测风险（超出观测范围的值可能不准确）

建议每次计算后画残差图检查：如果残差随机分布，说明模型合适；如果有明显规律，可能需要更复杂的模型。

6. 从一元到多元的扩展

虽然我们重点讨论了一元情况，但最小二乘法可以自然推广到多元线性回归。比如同时用学习时间和睡眠时间来预测成绩，此时寻找的就是一个最佳拟合平面。核心思想不变，只是计算会用矩阵运算表示：

β = (XᵀX)⁻¹XᵀY

其中X是包含自变量的设计矩阵，Y是因变量向量。这个矩阵形式的美妙之处在于，无论有多少个自变量，求解公式都保持统一。

最后提醒初学者：现在虽然有很多现成软件可以一键完成回归分析，但理解背后的数学原理，能帮助你在数据出现异常时更快发现问题，也能更准确地解释结果。就像虽然有了计算器，我们仍然要学习乘法口诀一样。