内容发布更新时间 : 2024/11/16 20:51:17星期一 下面是文章的全部内容请认真阅读。

主成分分析法(PCA)

在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。

I. 主成分分析法(PCA)模型

（一）主成分分析的基本思想

主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。

主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为F1，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p个变量的信息，再考虑选取F2即第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求 Cov(F1,F2)?0，称F2为第二主成分，依此类推可以构造出第三、四??第p个主成分。

（二）主成分分析的数学模型 对于一个样本资料，观测

p个变量x1,x2,?xp，n个样品的数据资料阵为：

x12x22?xn2?x1p???x2p???x1,x2,?xp?

?????xnp???x11??x21X?????x?n1

?x1j????x2j?,其中：xj???????x??nj?主成分分析就是将

j?1,2,?p

p个观测变量综合成为p个新的变量（综合变量），即

?F1?a11x1?a12x2???a1pxp?F?ax?ax???ax?22112222pp ?????Fp?ap1x1?ap2x2???appxp简写为：

Fj??j1x1??j2x2????jpxp

j?1,2,?,p

要求模型满足以下条件：

①Fi,Fj互不相关（i?j，i,j?1,2,?,p） ②F1的方差大于F2的方差大于F3的方差，依次类推 ③ak1?ak2???akp?1222k?1,2,?p.

于是，称F1为第一主成分，F2为第二主成分，依此类推，有第p个主成分。主成分又叫主分量。这里aij我们称为主成分系数。

上述模型可用矩阵表示为：

F?AX，其中

?F1??x1??????F2??x2?F??? X???

???????x??F??p??p??a11??a21A?????a?p1a12a22?ap2?a1p??a1?????a2p??a2??

????????????app???ap?A称为主成分系数矩阵。

(三)主成分分析的几何解释

假设有n个样品，每个样品有二个变量，即在二维空间中讨论主成分的几何意义。设n个样品在二维空间中的分布大致为一个椭园，如下图所示：

图1 主成分几何解释图

将坐标系进行正交旋转一个角度?，使其椭圆长轴方向取坐标y1，在椭圆短轴方向取坐标y2，旋转公式为

?y1j?x1jcos??x2jsin? ?y?x(?sin?)?xcos?1j2j?2jj?1,2?n

写成矩阵形式为：Y???y11?y21y12y22?y1n?

?y2n??x12x22?x1n??U?X ??x2n??1?cos?????sin?sin???x11??cos????x21其中U为坐标旋转变换矩阵，它是正交矩阵，即有U??U,UU??I，即满足

sin2??cos2??1。

经过旋转变换后，得到下图的新坐标：