1.1 支持向量机的理论基础

传统机器学习理论的基本原则是经验风险最小化原则（Empirical Risk Minmization, ERM）。经验风险一般用均方误差表示，是指在训练集合上的风险。当训练数据无穷多、训练样本无穷大时，经验风险可认为等于实际风险。然而，在实际问题中，训练样本的数目始终是有限的，这时采用经验风险最小化原则会产生最典型的“过学习”问题。

为了解决上述问题，20世纪60年代起，Vapnik领导的贝尔实验室研究小组就开始研究小样本情况下的机器学习问题，直到20世纪90年代，统计学习理论成熟才有效解决了这个问题。统计学习理论是在基于经验风险的有关研究基础上发展起来的、专门针对小样本的统计理论。与传统的学习理论相比，统计学习理论从控制机器学习复杂度的思想出发，基于VC维（Vapnik-Chervonenkis Dimension）理论提出的有限样本的结构风险最小化原则。

支持向量机是一种建立在统计学习理论和结构风险最小化原则基础上的，利用间隔区边缘的训练样本点的学习方法。其实现的基本思想是：将训练样本通过某种非线性映射到一个更高维的空间里，在这个高维空间中构建最优超平面。支持向量机所具有的许多特殊优势使其得到迅速的发展，在许多领域都取得了成功的应用。