多元线性回归模型及其假设条件

§5.1 多元线性回归模型及其假设条件

1．多元线性回归模型

bbxbxy多元线性回归模型：

i011i22ibpxpii，

i1,2,,n

2．多元线性回归模型的方程组形式

3．多元线性回归模型的矩阵形式

4．回归模型必须满足如下的假设条件：

第一、有正确的期望函数。即在线性回归模型中没有遗漏任何重要的解释变量，也没有包含任何多余的解释变量。

第二、被解释变量等于期望函数与随机干扰项之和。

第三、随机干扰项于期望函数。即回归模型中的所有解释变量Xj与随机干扰项u不相关。

第四、解释变量矩阵X是非随机矩阵，且其秩为列满秩的，即：rank(X)k,kn。式中k是解释变量的个数，n为观测次数。

第五、随机干扰项服从正态分布。

第六、随机干扰项的期望值为零。Eu0

第七、随机干扰项具有方差齐性。u2i2（常数）

第八、随机干扰项相互，即无序列相关。

u,ucovu,u=0

ijij§5.2 多元回归模型参数的估计

,b0,b1,,bp建立回归模型的基本任务是：求出参数的估计值，并进行统计检验。

残差：

eiˆiˆ；残差平方和：Q=eyiyyy

n22iii1i111矩阵求解：X=xxx11121nxxx21222nˆyb01bˆ1y2xp1ˆˆBYb2xp2yn1ˆˆbxpn，yn，Bp，

XXXY

1ˆ2Qnp1

要通过四个检验：经济意义检验、统计检验、计量经济学检验、模型预测检验。

§5.4 多元线性回归模型的检验

一、R检验

2

1．R检验定义

2R检验又称复相关系数检验法。是通过复相关系数检验一组自变量x,x,,x122m与因变

量y之间的线性相关程度的方法。

复相关系数与复可决系数检验中的“复”是相对于一元函数而言。

复相关系数：自变量在两个以上，检验线性关系密切程度的指标，记为常用R表示。

Ry,x1x2xp，通

复可决系数：复相关系数的平方R2。

在实际应用中，判别线性关系密切程度都是用R2检验，所以复可决系数R2是模型拟合优度指标，R2越接近于1，模型拟合越好。0≤R2≤1。

Rˆiyyi1yiy

222．复相关系数检验法的步骤

1）计算复相关系数；

2）根据回归模型的自由度n-m和给定的显著性水平值，查相关系数临界值表；

3）判别。

3．调整可决系数

R211R2n1nm

R是一个随自变量个数增加而递增的函数，所以，当对两个具有不同自变量个数但性

质相同的回归模型进行比较时，不能只用R作为评价回归模型优劣的标准，还必须考虑回归模型所包含的自变量个数的影响。

22R2消除了自变量个数不同的影响，可以用于不同自变量个数间模型的比较。

4．R检验的目的

2检验模型对原始数据的拟合程度，或对原始数据信息的解释程度。

二、F检验

1．检验目的

通过F统计量检验假设H0:12m0是否成立的方法。回归方程的显著性检验

是检验所有系数是否同时为0，

2．F统计量

ˆiyyFˆiyiy222m1nm ，m-1

ˆiyy是回归变差

2的自由度，n-m是剩余变差

ˆiyiy的自由度。

F服从自由度为m1,nm的F分布。

3．回归效果不显著的原因

1）影响y的因素除了一组自变量x1x2,,,xm之外，还有其他不可忽略的因素。

2）y与一组自变量x1x2,,,xxm之间的关系不是线性的。

3）y与一组自变量x1x2,,,m之间无关。

4．解决办法

分析原因另选自变量或改变模型的形式。

三、t检验

1．检验目的

回归系数的显著性检验是检验某个系数是否为0。

2．T统计量

统计假设H0：bi0；统计量：

tiˆbyiiiSc，SyQnm，cii是矩阵

tXX1的第I个对

0titi是一个自由度为n-m的t分布变量；角元素。统计检验判别：

否则，接受假设bi0。否定假设，系数bi。

。

四、DW检验

1．序列相关的概念及对回归模型的影响

序列相关是指数列的前后期相关。若时差为一期的序列相关，称为一节自相关。 回归模型假设随机误差项之间不存在序列相关或自相关，即ui和uj互不相关，

covu,u0,ij。若回归模型不满足这一假设，则称回归模型存在自相关。

ij当模型中存在序列自相关时，使用OLS方法估计参数，将产生下列严重后果：

（1）估计标准误差S可能严重低估σ的真实值。

2（2）样本方差

SjD可能严重低估的真实值。

iˆ（3）估计回归系数

j可能歪曲

i的真实值。

（4）通常的F检验和t检验将不再有效。

（5）根据最小二乘估计量所作的预测将无效。

2．序列相关的原因

（1）惯性：变量的发展趋势。

（2）偏误：模型设定有误，删去了一些必要变量。

（3）蛛网现象：供给对价格的反应要迟一个时期。

（4）其他原因：例如，现时消费取决于前期消费。

3．序列相关的检验方法

D—W检验法。适用条件：序列相关是一阶自回归形式。

注意：第一、D—W检验不适用于随机项具有高阶序列相关的检验。第二、D—W检验有一段不能判断其正相关或负相关的范围。第三、对于利用滞后被解释变量做为解释变量的模型，该检验失效。

（1）一阶自相关的数学表达式，etet1V

（2）D—W检验给出了是否存在一阶自相关的结论。

Tˆeet2tt1（3）一阶自相关系数ρ的估计值：

et2T2t；更常用的是：

ˆ1d2

4．消除序列相关的方法

（1）一阶差分法

已知自相关的相关系数ρ=1，原回归模型：

yxut01tt；utut1vt。令：

yyyttt1；xxxttt1xvy；。

t1tt（2）广义差分法

xuy原回归模型：；uut01tttt1vtyyy。令

ttt1，xtxtxt1，

y1xv，

t01ttˆ1d2。

（3）广义最小二乘法

做变换得到广义差分模型。

21000P=01001000000000101，01PP，

X*PX，

Y*PY，

u*Pu，

**YXu*。

~广义最小二乘估计量：

~ˆXX11Xˆ1~2ˆarYVˆv,

ˆX, X11ˆ2v~YXˆYX1Tk，ρ用样本普通最小二乘残差的一阶自相关系数来估计。k是

模型中估计参数个数（含常数项），T是样本容量。

五、异方差

1．异方差及其检验方法

（1）异方差性在观察点聚图上的直观表示（对原始数据点而言）

（2）异方差性的检验方法：（1）经济分析法。对数据分组，分别计算方差。（2）直观判断法。对残差而言。（3）等级相关检验法。（4）戈里瑟检验。

2．消除异方差的基本方法

（1）模型变换法

是已知异方差与自变量关系的形式，对模型进行变换，利用方差的性质可以证明是等方差的。

（2）加权最小二乘法

使用异方差性的权矩阵W对模型进行变换。

ˆBXW1XXW11Y

六、多重共线性

1．多重共线性：是指模型中解释变量间存在着一定的相关关系，没有满足性要求。

2．原因：（1）各经济变量间存在着内在联系。（2）各经济变量在时间上有共同增长的趋势。（3）在建立模型时引入了一些解释变量的滞后值作为新的解释变量。

3．解决办法：（1）经济分析的办法，找出引起多重共线性的变量，将他排除在外。（2）统计分析的方法，降维技术或者逐步回归的方法。（3）改变变量定义的形式。

七、预测区间

1．估计标准误差

Sˆiyiynm2

2．点预测、预测误差的样本方差

（1）点预测

ˆˆxBy

00（2）预测误差的样本方差（

y0和

ˆy0是向量）

yyˆe预测误差：

000

预测误差的样本方差：

SS0221XXXX100

(3)预测区间

ˆty02nmS0，n<30

ˆSy020，n30

八、应用实例

1．散点图，线性关系检验。

2．建立回归模型。

3．计算回归系数。

4．模型检验（R、F、t、DW）。

5．计算预测区间。