【普通最小二乘法的计算公式】在统计学和计量经济学中，普通最小二乘法（Ordinary Least Squares, OLS）是一种常用的回归分析方法，用于估计线性模型中的未知参数。其核心思想是通过最小化实际观测值与模型预测值之间的平方误差总和，来找到最佳拟合直线。
一、基本概念
普通最小二乘法适用于以下形式的线性回归模型：
$$
y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \dots + \beta_k x_{ik} + \epsilon_i
$$
其中：
- $ y_i $：因变量（被解释变量）
- $ x_{i1}, x_{i2}, \dots, x_{ik} $：自变量（解释变量）
- $ \beta_0, \beta_1, \dots, \beta_k $：待估参数
- $ \epsilon_i $：误差项
目标是根据样本数据，估计出这些参数的值，使得残差平方和最小。
二、OLS 参数估计公式
对于简单线性回归模型（仅有一个自变量）：
$$
y_i = \beta_0 + \beta_1 x_i + \epsilon_i
$$
OLS 估计量为：
$$
\hat{\beta}_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2}
$$
$$
\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}
$$
其中：
- $ \bar{x} $ 和 $ \bar{y} $ 分别为 $ x $ 和 $ y $ 的样本均值。
对于多元线性回归模型：
$$
\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}
$$
OLS 参数估计公式为：
$$
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}
$$
其中：
- $ \mathbf{y} $ 是因变量向量
- $ \mathbf{X} $ 是设计矩阵（包含常数项和自变量）
- $ \boldsymbol{\beta} $ 是参数向量
三、关键公式总结表
| 公式类型 | 公式表达 | 说明 |
| 简单线性回归斜率估计 | $ \hat{\beta}_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} $ | 计算自变量对因变量的影响程度 |
| 简单线性回归截距估计 | $ \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x} $ | 调整模型使预测值通过均值点 |
| 多元线性回归参数估计 | $ \hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y} $ | 利用矩阵运算求解多个自变量的系数 |
| 残差平方和 | $ \text{SSE} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $ | 衡量模型拟合效果的重要指标 |
| 总平方和 | $ \text{SST} = \sum_{i=1}^{n} (y_i - \bar{y})^2 $ | 反映因变量的总体变异 |
| 回归平方和 | $ \text{SSR} = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2 $ | 表示模型解释的变异部分 |
四、总结
普通最小二乘法是一种基础且广泛应用的回归分析方法，其核心在于通过最小化残差平方和来估计模型参数。无论是简单的线性模型还是复杂的多元模型，OLS 都提供了清晰的数学表达和实用的计算方式。理解其公式和原理，有助于更好地进行数据分析与建模工作。