内容发布更新时间 : 2024/10/20 3:51:08星期一 下面是文章的全部内容请认真阅读。

第四章 多元线性回归模型

在一元线性回归模型中，解释变量只有一个。但在实际问题中，影响因变量的变量可能不止一个，比如根据经济学理论，人们对某种商品的需求不仅受该商品市场价格的影响，而且受其它商品价格以及人们可支配收入水平的制约；影响劳动力劳动供给意愿（用劳动参与率度量）的因素不仅包括经济形势（用失业率度量），而且包括劳动实际工资；根据凯恩斯的流动性偏好理论，影响人们货币需求的因素不仅包括人们的收入水平，而且包括利率水平等。当解释变量的个数由一个扩展到两个或两个以上时，一元线性回归模型就扩展为多元线性回归模型。本章在理论分析中以二元线性回归模型为例进行。 一、预备知识 （一）相关概念

对于一个三变量总体，若由基础理论，变量x1,x2和变量y之间存在因果关系，或x1,x2的变异可用来解释y的变异。为检验变量x1,x2和变量y之间因果关系是否存在、度量变量x1,x2对变量y影响的强弱与显著性、以及利用解释变量

x1,x2去预测因变量y，引入多元回归分析这一工具。

将给定x1i,x2i条件下yi的均值

E(yi|x1i,x2i)??0??1x1i??2x2i （4.1） 定义为总体回归函数（Population Regression Function,PRF）。定义

yi?E(yi|x1i,x2i)为误差项（error term）,记为?i，即?i?yi?E(yi|x1i,x2i)，

这样yi?E(yi|x1i,x2i)??i，或

yi??0??1x1i??2x2i??i （4.2）

（4.2）式称为总体回归模型或者随机总体回归函数。其中，x1,x2称为解释变量（explanatory variable）或自变量（independent variable）；y称为被解释变量（explained variable）或因变量（dependent variable）；误差项?解释了因变量的变动中不能完全被自变量所解释的部分。

在总体回归模型（4.2）中参数?0,?1,?2是未知的，?i是不可观察的，统计计量分析的目标之一就是估计模型的未知参数。给定一组随机样本

(yi,x1i,x2i),i?1,2,?,n，对（4.1）式进行估计，若E(yi|x1i,x2i),?0,?1,?2的估

^^^^计量分别记为yi,?0,?1,?2，则定义（4.3）式为样本回归函数

yi??0??1x1i??2x2i （i?1,2,?,n） （4.3）

注意，样本回归函数随着样本的不同而不同，也就是说?0,?1,?2是随机变量，它们的随机性是由于yi的随机性（同一组(x1i,x2i)可能对应不同的yi）、x1,x2各

^^^^^^^自的变异、以及x1,x2之间的相关性共同引起的。定义yi?yi为残差项（residual term）,记为ei，即ei?yi?yi，这样yi?yi?ei，或

yi??0??1xi?ei （i?1,2,?,n） （4.4） （4.4）式称为样本回归模型或者随机样本回归函数。样本回归模型中残差项ei可视为总体回归模型中误差项?i的估计量。 （二）多元线性回归模型的矩阵表示

多元线性回归模型的参数估计比一元线性回归模型要复杂得多，为了便于计算和分析，便于将结果由三变量总体推广到一般的多变量总体，引入矩阵这一工具简化计算和分析。

设(yi,x1i,x2i),i?1,2,?,n是取自总体的一组随机样本。在该组样本下，总体回归模型（4.2）式可以写成方程组的形式

y1??0??1x11??2x21??1

y2??0??1x12??2x22??2

^^^^^?

yn??0??1x1n??2x2n??n

利用矩阵运算，可表示为

?y1??1x11?y??1x12 ?2?????????????yn??1x1n?y1??1x11?y??1x212记y???，X????????????yn??1x1nx21?x22?????x2n???1???0?????????2? （4.5） ?1???????2??????n?x21???1????0???x22??,????1?,???2?

???????????3????x2n???n?则在该组样本下，总体回归模型的矩阵表示为

y?X??? （4.6）

??^??^0?^记????1?,e??^???2??????e1??e??2? ??????en?^则样本回归模型的矩阵表示为

y?X??e （4.7） （三）模型假定

假定1 回归模型是参数线性的，并且是设定正确的。

假定2 随机误差项与解释变量不相关。即

cov(xji,?i)?0，j?1,2。

如果解释变量是非随机的，则该假设自动满足。 假定3 零均值假定。即

E(?i)?0，i?1,2,?,n

假定4 同方差假定。即

var(?i)??2，i?1,2,?,n

假定5 无自相关假定。即两个误差项之间不相关

cov(?i,?j)?0 i?j，i?1,2,?,n，j?1,2,?,n

假定6 解释变量x1与x2之间不存在完全共线性，即两个解释变量之间无确切的的线性关系。

假定7 正态性假定。即

?i～N(0,?2)，i?1,2,?,n

（四）参数估计与估计量的分布 系数向量?的OLS估计为

??(XTX)?1XTy （4.8） 其中，XT为X的转置矩阵。在随机误差项服从正态分布的假定下，系数向量的估计量也服从正态分布，即

?～N(?,?2(XTX)?1) （4.9） 记C?(XTX)?1的第j个主对角元素为cjj，则

?j～N(?j,?2cjj) （4.10）

有了系数估计量的分布，就可以对总体参数做假设检验。与双变量总体相同，总体误差?i是不可观察的，因而其方差?是未知的。若用?的无偏估计量?2代

22^^^^替?2，则OLS估计量服从自由度为n?3的t分布，而不是正态分布，即

?j??jse(?j)^^～t(n?3) （4.11）

其中，se(?j)??2cjj，?2（五）预测原理

^^^e??2in?3。

回归分析的目的之一是利用回归模型预测因变量。假设三变量总体的回归模型为（4.2），即