5.5　典型关联分析

如果对象特性输入表示X和对象特性输出表示Y都已知，求其对应的输入输出类认知表示。在这种情况下，如果对类认知表示没有约束，其对应的输入输出类认知表示很多。根据奥卡姆剃刀准则，在没有约束的情形下，应该选择最简单的类认知表示。容易想到对象特性的线性组合是最简单的类认知表示，而对象特性的线性组合在比例变换下具有几何不变性。据此，可以假定输入类认知表示为标准化后的所有输入变量的一个线性组合，记为，其中a∈ℝp为组合系数。同理记输出类认知表示，其中b∈ℝq为组合系数。

类唯一表示公理要求二者相同。但是，类唯一表示公理的要求太高，一般达不到。因此，考虑类一致性准则，只要相近就好。由此得到目标函数（5.33）：

由式（5.33）可知，类一致性准则在这里等同于最大化两组变量线性组合后的关联系数。这也是典型关联分析（canonical correlation analysis，CCA）的由来，同时a，b也称为典型变量。根据式（5.33）可得目标函数（5.34）：

求解问题（5.34）仍然采用拉格朗日乘子法。给定如下的拉格朗日方程：

分别对a，b求偏导，并令导数为0，得

式（5.36）中两式分别左乘aT，bT，并利用约束条件aTXXTa=1，bTY YTb=1，有

由式（5.36）可得

根据式（5.37）和式（5.38），令，

则获得如下表示：

因此问题转化为求解特征值、特征向量的问题。由最大的特征值获得两组变量的典型相关性的大小。由最大特征值对应的特征向量w获得对应的两组变量的组合系数。直接求解A的特征向量计算量过大，因此可利用式（5.38）得

因此可以先根据式（5.40）求出a，再根据式（5.36）求出b。根据A的最大特征值求得的第一组典型变量，记为a1，b1，若继续挖掘变量间的相关性则可以根据式（5.40）求得第二大特征值对应的特征向量，记为a2，b2，同时保证了不同的组之间的典型变量互不相关。