普通最小二乘法

线性回归模型中未知参数的估计方法

回归分析当中,最常用的估计回归系数)的方法是普通最小二乘法(英語:ordinary least squares,簡稱OLS),它基於誤差值之上。用這種方法估计,首先要計算残差平方和residual sum of squares;RSS),RSS是指将所有误差值平方加起來得出的数:

的数值可以用以下算式计算出來:

当中的平均值,而的平均值。

假设总体的误差值有一个固定的變異數,這个變異數可以用以下算式估计:

這個数就是均方误差(mean square error),這個分母是样本大小减去模型要估计的参数的量。這個回归模型当中有两个未知的参数()。[1]

而這些参数估计的标准误差(standard error)為:

有了上面這个模型,研究者手上就有会有的估计值,就可以用這個算式來预测的数值。

參見

參考資料

  1. ^ Steel, R.G.D, and Torrie, J. H., Principles and Procedures of Statistics with Special Reference to the Biological Sciences., McGraw Hill, 1960, page 288.