内容发布更新时间 : 2024/10/14 13:23:23星期一 下面是文章的全部内容请认真阅读。

第二章 主成分分析

1. 主成分分析的基本原理

统计学上PCA的定义为用几个较少的综合指标来代替原来较多的指标，而这些较少的综合指标既能尽多地反映原来较多指标的有用信息，且相互之间又是无关的。作为一种建立在统计最优原则基础上的分析方法，主成分分析具有较长的发展历史。在1901年，Pearson首先将变换引入生物学领域，并重新对线性回归进行了分析，得出了变换的一种新形式。Hotelling于1933年则将其与心理测验学领域联系起来，把离散变量转变为无关联系数。在概率论理论建立的同时，主成分分析又单独出现，由Karhunen于1947年提出，随后Loeve于1963年将其归纳总结。因此，主成分分析也被称为K-L变换[1]。

PCA运算就是一种确定一个坐标系统的直交变换，在这个新的坐标系统下，变换数据点的方差沿新的坐标轴得到了最大化。这些坐标轴经常被称为是主成分。PCA运算是一个利用了数据集的统计性质的特征空间变换，这种变换在无损或很少损失了数据集的信息的情况下降低了数据集的维数。

PCA的基本原理如下：给定输入数据矩阵Xm?n (通常m?n)，它由一

n些中心化的样本数据{xi}im?1构成，其中xi?R且

?xi?1mi?0 (2-1)

PCA通过式(2-2)将输入数据矢量xi变换为新的矢量

si?UTxi (2-2)

其中：U是一个n?n正交矩阵，它的第i列Ui是样本协方差矩阵

1nC??xixiT (2-3)

ni?1的第i个本征矢量。换句话说，PCA首先求解如下的本征问题

?iui?Cui?????i?1,...,n (2-4)

其中?是C的一个本征值，ui?是相应的本征矢量。当仅利用前面的P个本征矢量时(对应本征值按降序排列)，得矩阵S?UTX 。新的分量S称为主分量[2]。最大特征值?对应的最大特征向量u就是第一个主成分,这个特征向量就是数据有最大方差分布的方向。第二主成分也就是第二大特征值对应的特征向量，数据点沿着这个方向方差有第二大变化，且这个特征向量与第一个是正交的。

实际过程中原始数据如果没有经过中心化，即式(2-1)不成立，则也可以对数据进行标准化处理。即对每一个指标分量作标准化处理 Xij?Aij?AjSj (2-5)

1m其中样本均值： Aj??Aij (2-6)

mi?11m样本标准差： Sj?(Aij?Aj)2 (2-7) ?m?1i?1得到X?(xij)m?n，接下来进行以上运算，这就是标准的PCA，这种标准化方法有效的减少了数据量纲对数据提取的影响[3]。

2. 主成分分析的实现步骤

基于上述主成分分析的基本原理，可以得出主成分分析的计算步骤如下所示：

1、将所获得的n个指标(每一指标有m个样品）的一批数据写成一个

?a11?(m?n)维数据矩阵A???a?m1a1n???． amn??2、对矩阵A作标准化处理：即对每一个指标分量进行标准化处理，利用公式(2-5)，从而得到X?(xij)m?n。

3、由式(2-8)计算样本矩阵的相关系数矩阵

1R?XT?X?(rij)n?n (2-8)

m?14、运用Jacobi迭代方法计算R的特征值?1,...,?n，即对应的特征向量

v1,...,vn。

5、特征值按降序排序(通过选择排序)得?1'?...??n'并对特征向量进行相应调整得v1',...,vn'。

6、通过施密特正交化方法单位正交化特征向量，得到?1,...,?n。 7、计算特征值的累积贡献率B1,...,Bn，根据给定的提取效率p，如果

Bt?p,则提取t个主成分?1,...,?t。

8、计算已标准化的样本数据X在提取出的特征向量上的投影Y?X??，其中??(?1,...,?t)。

所得的Y即为进行特征提取后的数据也就是数据降维后的数据。