1.1.2 经验风险最小化原则

期望风险获得最小值，即式（1.1.1）达到最小值是机器学习的目标。根据式（1.1.1），想要获得期望风险最小化必须依赖概率密度函数p_XY（x,y），但在机器学习中，只有样本信息，所以无法直接计算期望风险及其最小值。这时，传统的学习方法通常是用经验风险R_emp（w）最小化代替期望风险最小化，这就是经验风险最小化原则。其中，经验风险R_emp（w）的定义为

然而，用经验风险最小化代替期望风险最小化并没有可靠的理论依据。虽然R（w）和R_emp（w）都是w的函数，但依据概率论中的大数定理判定R_emp（w）趋近于R（w）的条件是训练样本无穷多，并没有说二者的w最小点为同一个点。并且在实际情况中，样本总是有限的。期望风险和经验风险之间的关系如图1.1.2所示。

图1.1.2 期望风险与经验风险的关系图