上QQ阅读APP看书，第一时间看更新
第1章 支持向量机
内容导读
本章在分析支持向量机的理论基础，包括机器学习问题的基本框架、经验风险最小化原则及VC维理论等的基础上，重点讲述了基于结构风险最小化原则的支持向量机原理及支持向量机分类和回归问题，讨论了核函数对分类回归问题的影响。最后，通过基于改进支持向量机的正交小波盲均衡算法和基于U-支持向量机的正交小波盲均衡算法两个实例，给出了利用支持向量机理论解决通信信道均衡问题的思路、架构、方法与效果。
从20世纪60年代起，Vapnik领导的实验小组开始研究机器学习问题，20世纪70年代建立了统计学习理论（Statistical Learning Theory, SLT），20世纪90年代初提出了支持向量机（Support Vector Machine, SVM）这一新的机器学习方法。自此以后，支持向量机理论与应用得到了快速发展，出现了诸如支持向量机的泛化性能及多值回归、分类问题的扩展问题，支持向量机和正则化网络的关系问题，通用支持向量机（Generalised SVM）的概念，硬/软邻域支持向量机的学习误差界限理论等。
支持向量机是小样本学习机器，适用于小样本情况。当样本数量变大时，计算量会增加，从而造成效率下降。为此，很多针对大规模样本集的算法被提出，如块算法、子集选择算法及序列最小优化算法等。其中，块算法是利用删除矩阵中对应的拉格朗日乘数为零的列和行不会对结果产生影响的特点，减小算法占用内存资源。子集选择算法是将训练集分块，在其中提取、保留支持向量，然后补充新样本，重复上述运算，直至都满足KKT（Karush-Kuhn-Tucker）收敛条件。序列最小优化算法是将样本集缩减到两个，并且其中的一个变量用另一个表示，这样，每一步子集中的最优解可以直接用解析的方法求出，提高了运算速度。