4.4　最小平方误差算法

4.3节介绍的感知器算法是在已知样本集线性可分的基础上采用的，但对于给定的样本集，往往不能预先知道是否线性可分。本节介绍的最小平方误差准则函数可以在训练过程中判定训练模式集是否线性可分。最小平方误差准则函数引进了最小均方误差。

定义一个误差向量：

由于最小平方误差以最小均方误差为准则，因此定义准则函数为

然后找一个使极小化的作为问题的解，即求解使的梯度为0的值。

首先对式（4-41）中的求梯度，即

令，得

得到

式中，矩阵为矩阵的规范逆矩阵；为式（4-41）所示的最小平方误差准则函数的解。可见，的解依赖于向量b，选择不同的b可以赋予解不同的性质，而且计算量很大，因为要求解矩阵的逆矩阵。为了避免上述缺点，可以采用梯度下降法。

梯度下降法计算过程如下。

（1）任意指定初始权向量：

（2）如果第k步不能满足，那么按下式计算第k+l步的权向量。

式中，为修正系数。这个算法产生的权向量满足方程，且不管是否为奇异矩阵，这个梯度下降法总能产生一个解。

每次迭代时的误差向量为

式中，是判断样本集是否线性可分的重要指标。若满足（每个分量均为正值或零），则样本集是线性可分的；若满足，则样本集不是线性可分的，不具有收敛性。