2.2　高等数学基础

机器学习是交叉学科，需要大量的数学基础知识，本章后续介绍机器学习常用的数学知识。对于想学习机器学习的朋友，很多时候都会觉得数学基础是一道坎，本节将概述机器学习中所涉及的高等数学基础，以方便读者后续的学习。

数学是基础，算法是方法，编程是工具，三者对于机器学习都很重要。机器学习中大量的问题最终都可以归结为一个优化问题，而微积分、概率、线性代数和矩阵是优化的基础。注意，这里所讲的数学基础仅仅是皮毛，读者根据需要可参考相关的资料进行深入学习和理解。

1．导数

导数和微分的定义：

或

函数f(x)在x0处的左、右导数定义为：

（1）左导数：

（2）右导数：

函数的可导性与连续性之间的关系如下：

（1）函数f(x)在x0处可微⇔f(x)在x0处可导。

（2）若函数在点x0处可导，则y=f(x)在点x0处连续，反之则不成立。即函数连续不一定可导。

（3）f'(x0)存在。

下面介绍导数的四则运算法则。设函数u=u(x)，v=v(x)在点x处可导，则：

（1）(u±v)'=u'±v'，d(u±v)=du±dv。

（2）(uv)'=uv'+vu'，d(uv)=udv+vdu。

（3）。

平面曲线的切线和法线方程如下：

（1）切线方程：

y-y0=f'(x0)(x-x0)

（2）法线方程：

2．基本导数与微分表

基本导数与微分表如表2-1所示。

3．复合函数、反函数、隐函数以及参数方程所确定的函数的微分法

（1）反函数的运算法则：设y=f(x)在点x的某邻域内单调连续，在点x处可导且f'(x)≠0，则其反函数在点x所对应的y处可导，并且有。

（2）复合函数的运算法则：若μ=φ(x)在点x处可导，而y=f(μ)在对应点μ（μ=φ(x)）处可导，则复合函数y=f(φ(x))在点x处可导，且y'=f'(μ)·φ'(x)。

（3）隐函数导数的求法一般有3种：

① 方程两边对x求导，要记住y是x的函数，则y的函数是x的复合函数。例如、y2、ln y、ey等均是x的复合函数。对x求导应按复合函数连锁法则做。

② 公式法。由F(x,y)=0知。其中，、分别表示F(x,y)对x和y的偏导数。

③ 利用微分形式不变性。

4．常用高阶导数公式

（1）(ex)(n)=ex。

（2）(ax)(n)=axlnna(a>0)。

（3）。

（4）。

（5）(xm)(n)=m(m-1)…(m-n+1)xm-n。

（6）。

（7）莱布尼兹公式：若u(x)、v(x)均n阶可导，则，其中u(0)=u，v(0)=v。

5．微分中值定理，泰勒公式

费马定理：若函数f(x)满足条件：

（1）函数f(x)在x0的某邻域内有定义，并且在此邻域内恒有f(x)≤f(x0)或f(x)≥f(x0)。

（2）f(x)在x0处可导，则有f'(x0)=0。

罗尔定理：设函数f(x)满足条件：

（1）在闭区间[a,b]上连续。

（2）在(a,b)内可导。

（3）f(a)=f(b)。

则在(a,b)内存在一个ξ，使得f'(ξ)=0。

拉格朗日中值定理：设函数f(x)满足条件：

（1）在[a,b]上连续。

（2）在(a,b)内可导。

则在(a,b)内存在一个ξ，使得。

柯西中值定理：设函数f(x)、g(x)满足条件：

（1）在[a,b]上连续。

（2）在(a,b)内可导且f'(x)、g'(x)均存在，且g'(x)≠0。

则在(a,b)内存在一个ξ，使得。

6．洛必达法则

法则Ⅰ（型）：设函数f(x)、g(x)满足条件：，；f(x)、g(x)在x0的邻域内可导，（在x0处除外）且g'(x)≠0；同时存在（或∞）。则。

法则Ⅰ'（型）：设函数f(x)、g(x)满足条件：，；存在一个X>0，当|x|>X时，f(x)、g(x)可导，且g'(x)≠0；存在（或∞）。则。

法则Ⅱ（型）：设函数f(x)、g(x)满足条件：，；f(x)、g(x)在x0的邻域内可导（在x0处可除外）且g'(x)≠0；存在（或∞）。则。同理法则Ⅱ'（型）仿法则Ⅰ'可写出。

7．泰勒公式

设函数f(x)在点x0处的某邻域内具有n+1阶导数，则对该邻域内异于x0的任意点x，在x0与x之间至少存在一个ξ，使得：

其中，称为f(x)在点x0处的n阶泰勒余项。

令x0=0，则n阶泰勒公式：

其中，ξ在0与x之间。上式称为麦克劳林公式。

常用的5种函数在x0=0处的泰勒公式：

（1），或。

（2），或。

（3），或。

（4），或。

（5），或。

8．函数单调性的判断

定理1：设函数f(x)在(a,b)区间内可导，如果对∀x∈(a,b)，都有f'(x)>0（或f'(x)<0），则函数f(x)在(a,b)内是单调增加的（或单调减少的）。

定理2：（取极值的必要条件）设函数f(x)在x0处可导，且在x0处取极值，则f'(x0)=0。

定理3：（取极值的第一充分条件）设函数f(x)在x0的某一邻域内可微，且f'(x0)=0（或f(x)在x0处连续，但f'(x0)不存在）。

（1）若当x经过x0时，f'(x)由“+”变“-”，则f(x0)为极大值。

（2）若当x经过x0时，f'(x)由“-”变“+”，则f(x0)为极小值。

（3）若f'(x)经过x=x0的两侧不变号，则f(x0)不是极值。

定理4：（取极值的第二充分条件）设f(x)在点x0处有f''(x)≠0，且f'(x0)=0，则当f''(x0)<0时，f(x0)为极大值；当f''(x0)>0时，f(x0)为极小值。

9．渐近线的求法

（1）水平渐近线。若，或，则y=b称为函数y=f(x)的水平渐近线。

（2）铅直渐近线。若，或，则x=x0称为y=f(x)的铅直渐近线。

（3）斜渐近线。若，，则y=ax+b称为y=f(x)的斜渐近线。

10．函数凹凸性的判断

定理1：（凹凸性判别定理）若在I上f''(x)<0（或f''(x)>0），则f(x)在I上是凸的（或凹的）。

定理2：（拐点判别定理1）若在x0处f''(x)=0（或f''(x)不存在），当x的变动经过x0时，f''(x)变号，则(x0,f(x0))为拐点。

定理3：（拐点判别定理2）设f(x)在x0点的某邻域内有三阶导数，且f''(x)=0，f'''(x)≠0，则(x0,f(x0))为拐点。

11．弧微分

若f(x)在区间[a,b]内具有连续导数，其弧S(x)为单调增函数，则：

12．曲率

曲线y=f(x)在点(x, y)处的曲率。对于参数方程，。