1.1.1 机器学习问题的基本框架

机器学习（Machine Learning）是现代智能技术中重要的一个方面，是一个系统自我改进的过程，可以从观测样本去研究、分析对象，去预测输出。机器学习问题的基本模型框架如图1.1.1所示。输入信号x经过系统得到输出信号y，学习机根据训练样本对系统的输入/输出做出估计，得到最准确的预测输出。其数学表述为：输入变量x与输出变量y之间存在一定的未知依赖关系，即服从某一未知的联合概率密度p_XY（x，y）。机器学习的目的就是根据N个独立同分布的观测样本（x（1），y（1）），（x（2），y（2）），…，（x（N），y（N）），在一组函数{f（x，w）}中求出最优的函数f（x，w₀）对依赖关系进行估计，使期望风险R（w）最小。

图1.1.1 机器学习问题的基本模型框架

式中，{f（x,w）}为预测函数集，w为函数的广义参数，所以{f（x,w）}可表示为任何函数集。L（y,f（x,w））为损失函数，表示由于对y进行预测而造成的损失。

机器学习问题根据不同的学习目的可分为三类基本的学习问题，即模式识别、函数拟合及概率密度估计。

在模式识别问题中，输出变量y即为类别，可用二值函数{0,1}或{-1,1}来表示。此时，预测函数f（x,w）称为指示函数，损失函数定义为

在函数拟合问题中，变量y是x的函数，y是连续变量，所以损失函数可以用平方误差表示，即

在概率密度估计问题中，学习的目的就是根据训练样本确定输入变量x的概率密度，所以设估计的概率密度函数为p（x,w），则损失函数可定义为