3.1 线性模型_机器学习及其应用-QQ阅读男生轻小说网

上QQ阅读APP看书，第一时间看更新

3.1 线性模型

如果机器学习模型的输出量通过样本特征与模型参数的线性组合计算获得，则称该模型为线性模型。线性模型结构中只有乘法和加法运算，是一种非常简单的机器学习模型。对于给定带标签训练样本，通过监督学习训练构造线性模型的关键技术在于如何算出合适的模型参数值，即线性组合系数或权重，使得训练样本的模型输出值能较好地拟合样本标签。最常用的方法是通过优化输出值与标记值之间的误差来调整模型参数，使得误差越小越好。本节主要介绍如何通过训练样本自动构造出适当的线性模型以完成回归、分类等机器学习任务。

3.1.1 模型结构

在机器学习领域，线性模型是一类由线性组合方式构成的预测性模型的统称，这类模型在机器学习领域有着非常广泛的应用，其基本形式如下

其中，μ_i表示第i个变量；a_i表示μ_i所对应的权重参数；参数b称为偏置项。

当b≠0时，称式（3-1）为非齐次线性模型；当b=0时，可将式（3-1）简化为

并称式（3-2）为齐次线性模型。

显然，齐次线性模型是非齐次线性模型在偏置项b=0时的一种特殊形式。事实上，对于式（3-2）表示的齐次线性模型，若令其中的变量μ_n恒等于1，则该模型就变成一个以a_n为偏置项的非齐次线性模型。由此可见，在一定条件下，齐次线性模型与非齐次线性模型可以相互转化。因此，基于齐次线性模型的很多结论可以直接推广到非齐次线性模型，反之亦然。在不失一般性的前提下，将根据实际需要或表述方便，灵活地采用齐次线性模型或非齐次线性模型作为线性模型的表示形式。

可将线性模型式（3-1）表示为如下向量形式

其中，a=（a₁，a₂，…，a_n）^T表示权重向量；μ=（μ₁，μ₂，…，μ_n）^T表示变量向量。

在机器学习领域，通常将样本数据表示为表征向量或特征向量形式，并默认样本数据由特征向量形式表达。具体地说，对于任意给定的一个样本X，可将其表示成特征向量（x₁，x₂，…，x_m）^T，即X=（x₁，x₂，…，x_m）^T，每个样本数据对应各自的特征向量。此时可将线性模型表示为样本特征向量与权重向量的线性组合，即有

其中，w=（w₁，w₂，…，w_m）^T为权重向量；w_i表示样本X的第i个特征x_i对模型输出的影响程度。w_i值越大，则表示特征x_i对线性模型f（X）输出值的影响就越大。

对于给定的机器学习任务，获得一个满足任务需求的线性模型主要是通过调整模型的权重参数实现的，即确定样本属性或特征数据与模型输出之间满足何种线性关系。对模型参数的调整一般是通过对训练样本数据的学习来实现的。有时模型自变量与参数之间并不满足线性关系，需要通过某些数学技巧将原始模型转化为适当线性模型以实现对问题的求解。

3.1.2 线性回归

回归是机器学习的一项重要任务。所谓回归，就是通过带标签样本训练构造适当模型，并通过该模型算出新样本的预测值。基于线性模型的回归学习任务通常称为线性回归，相应的线性模型称为线性回归模型。可以使用线性回归模型解决很多预测问题，不过如何构造适当的线性模型是一个需要仔细考虑的问题。对于任意一个给定的样本ξ，令

x₁=ψ₁（ξ），x₂=ψ₂（ξ），…，x_m=ψ_m（ξ）

为样本ξ的属性提取函数，则可将ξ映射成一个m元特征向量X，即

X=X（ξ）=（x₁，x₂，…，x_m）^T

由此可将线性回归模型的初始模型表示为如下的线性组合形式

其中，w=（w₁，w₂，…，w_m）^T为参数向量。

建立线性回归模型的目标是希望模型输出的预测值能够较好地符合实际数据。对于不同模型参数向量w，线性模型的拟合效果会有所差异，需要根据样本数据计算出合适的模型参数，使得模型预测效果达到最优。因此，线性回归模型的构造其实是一个优化问题，需要建立一个适当的目标函数或损失函数作为优化计算的基本依据。

对于给定带标签训练样本X，设其标签值为y，则希望线性回归模型关于该训练样本的预测输出f（X）与y能够尽可能接近。通常采用平方误差来度量f（X）和y的接近程度，即

其中，e表示单个训练样本X的误差。

在机器学习的模型训练中，通常使用多个训练样本，可将所有训练样本所产生平方误差的总和看成是模型的总误差。因此，对于任意给定的n个训练样本X₁，X₂，…，X_n，令其标签值分别为y₁，y₂，…，y_n，可将对线性回归模型f（X）进行优化计算的目标函数定义为

令训练样本集的特征矩阵为A=（X₁，X₂，…，X_n）^T=（x_ij）_n_×_m，相应的训练样本标签值向量为y=（y₁，y₂，…，y_n）^T，则可将上述损失函数转化为

因此，线性回归模型的构造就转化为如下最优化求解问题

令J（w）对参数向量w各分量的偏导数为0，即

则由A^T（y-Aw）=0解得

可通过式（3-9）计算参数向量w的取值，并将其代入f（X）=w^TX获得所求线性回归模型。

【例题3.1】某企业某商品的月广告费用与月销售量数据如表3-1所示，试通过线性回归模型分析预测这两组数据之间的关系。

【解】首先，将表3-1中的样本数据可视化，即将表中数据以点的形式展现在二维坐标系中，如图3-1所示。通过考察这些点的位置分布，不难发现它们基本上成直线排列。为此可用直线方程表示月广告费s_i与月销售量t_i之间的关系，即有：f（s）=as+b。

表3-1 月广告费与月销售量数据

令特征提取函数为x₁=ψ₁（s）=s，x₂=ψ₂（s）=1，则样本s_i可表示为特征向量（s_i，1）^T，令y=t，w=（a，b）^T，则可将表3-1中的s_i和t_i值代入公式w=（A^TA）^-1A^Ty中，算出w=（0.968，0.191）^T，得到所求线性回归模型f（s）=0.968s+0.191。图3-2展示了该模型对数据的拟合效果，可用该模型就广告费与销售量之间的关系做短期预测。例如，已知即将投入的广告费用，可大致预测出相应的销售量。□

图3-1 广告费与销售量数据

图3-2 线性回归模型

由以上分析可知，线性回归模型的初始模型是若干以样本特征提取函数为基函数的线性组合，在构造线性回归模型完成机器学习回归任务时，首先必须通过一定的先验经验或专业知识构造出若干特征提取函数，然后通过最小化损失函数的优化计算实现对线性回归模型参数向量w的求解，获得性能提升的线性回归模型。

需要注意的是，上述线性模型回归参数的求解方法只有在A^TA是可逆矩阵的条件下才能获得唯一解。然而，当矩阵A的行向量之间存在一定的线性相关性时，即不同样本之间的属性标记值存在一定的线性相关性时，就会使得矩阵A^TA不可逆。自变量之间存在线性相关情况，在统计学中称为多重共线现象。

事实上，自变量之间的线性相关不仅会造成矩阵A^TA不可逆，而且在A^TA可逆的情况下，也有可能导致对参数向量w的计算的不稳定，即样本数据的微小变化会导致参数w计算结果的巨大波动。此时，使用不同训练样本获得的回归模型之间会产生很大的差异，使得回归模型缺少泛化能力。因此，需要对上述线性回归参数的求解方法进行改进，从而有效解决多重共线现象带来的问题，下面介绍一种名为岭回归的改进方法。

岭回归方法的基本思想是：既然共线现象会导致参数估计值变化非常大，那么就在现有线性回归模型损失函数上增加一个针对w的范数惩罚函数，通过对目标函数做正则化处理，将参数向量w中所有参数的取值压缩到一个相对较小的范围，即要求w中所有参数的取值不能过大，由此可以得到如下用于岭回归的损失函数

其中，λ≥0称为正则化参数。

当λ的取值较大时，惩罚项λw^Tw就会对损失函数的最小化产生一定的干扰，此时优化算法就会对回归模型参数w赋予较小的取值以消除这种干扰。因此，正则化参数λ的较大取值会对模型参数w的取值产生一定的抑制作用。λ的值越大，w的取值就会越小，共线性的影响也越小，当λ=0时，即退化为传统线性回归方法。

令J（w）对参数w的偏导数为0，可得w=（A^TA+λI）^-1A^Ty。其中，I为m阶单位矩阵。这样即使A^TA本身不是可逆矩阵，加上λI也可使A^TA+λI组成可逆矩阵。

岭回归方法采用参数向量w的L²范数作为惩罚函数，具有便于计算和数学分析的优点。然而当参数个数较多时，需要将重要参数赋予较大的值，不太重要的参数赋予较少的值，甚至对某些参数赋零值。此时需用其他范数作为惩罚函数对目标函数做正则化处理。例如，使用参数向量的L¹范数作为惩罚函数，可以得到Lasso回归及相关算法，这里不再赘述。

3.1.3 线性分类

日常生活和工作中经常会遇到一些分类问题，例如，有时需要将产品按质量分为优等品、合格品和次品，将公司客户分为贵宾客户和普通客户等。可以使用有监督的机器学习方式实现分类任务，即根据有标注样本数据训练出相应的分类模型，然后根据分类模型实现对新样本的自动分类。显然，如果回归模型的预测输出是离散值而不是连续值，则机器学习的回归预测事实上就实现了分类效果。因此，只要将线性回归模型输出的连续值进行离散化，就可以将线性回归模型改造成相应的线性分类模型。所谓线性分类模型，就是基于线性模型的分类模型，通常亦称为线性分类器。使用线性回归模型构造线性分类器的关键在于如何将线性回归模型输出的连续性取值进行离散化。

最直接的想法是将线性回归模型输出值的取值范围划分为有限个不相交区间，每个区间表示一个类别，由此实现模型连续值输出的离散化。这相当于使用跃阶函数对线性回归模型的输出值进行激活函数映射。然而，跃阶函数为不连续函数，直接在模型中引入跃阶函数不便于进行数学分析。因此，需要设计一些具有良好数学性质的激活函数来替代跃阶函数，以实现对连续值的离散化。下面以二值分类任务为例，介绍激活函数及分类模型的设计方法。

对于任意给定的一个线性回归模型f（X）=w^TX，其中X=（x₁，x₂，…，x_m）^T为待分类样本，二值分类任务的目标是将模型预测值f（X）划分为0/1两个值，即将样本X划分为正例或反例这两种类型之一。图3-3表示使用该线性回归模型完成二值分类任务的基本流程，其中激活函数g（f（X））的设计是实现二值分类任务的关键要点。

图3-3 基于线性回归模型的二值分类

显然，式（3-11）所表示的单位阶跃函数g（f（X））可以获得比较理想的二值分类效果，即当预测值f（X）大于零时将样本X划分为正例，当f（X）小于零时将样本X划分为反例，f（X）为零时则将样本X随机划分为正例或反例中的任意一类。

然而，函数g（f（X））在跳跃点瞬间从0跳跃到1，这个瞬间跳跃过程有时在数学上很难处理，例如在优化计算时不适合进行求导运算。因此，希望能够使用一种与单位阶跃函数类似且具有良好单调可微性质的函数作为激活函数。

图3-4表示的Sigmoid函数满足上述条件且在数学上更易处理，使用Sigmoid函数作为线性回归模型激活函数的回归方法通常称为逻辑斯谛（Logistic）回归，可通过逻辑斯谛回归实现二值分类效果。Sigmoid函数的数学表达式如下

图3-4 Sigmoid函数图像

a）较小尺度自变量情形 b）较大尺度自变量情形

当x=0时，Sigmoid的函数值为0.5；随着x的增大，对应的Sigmoid值逼近于1；随着x的减小，Sigmoid值逼近于0。如果x轴的刻度足够大，Sigmoid函数就很接近于阶跃函数。图3-4a、b分别给出了Sigmoid函数在不同横坐标尺度下的函数图像。

令g（x）=Sigmoid（x），则Sigmoid函数的导数g′（x）=g（x）[1-g（x）]。将f（X）=w^TX作为自变量x代入g（x），可以得到如下激活函数

令H（X）=Sigmoid（f（X）），则H（X）是一个值域为（0，1）的函数，可将H（X）看成是一个关于X的概率分布，用于表示X为正例的概率，即：H（X）的值越接近1，则X属于正例的可能性就越大；H（X）的值越接近于0，则X属于正例的可能性就越小，属于反例的可能性就越大。也就是说，将H（X）定义为样本X在正例条件下f（X）=1的后验概率，即有

对于每个样本X，都希望线性分类模型对其分类的类别结果为其真实类别的概率越接近于1越好。具体地说，如果样本X为正例，希望H（X）值尽可能地接近1或者说越大越好；如果样本X为反例，希望H（X）值尽可能地接近0，即1-H（X）的值越大越好。虽然在数学上难以精确地定量表示这个要求，但可用极大似然法对似然函数进行最优化计算以获得优化的模型参数向量w，使得所求的线性模型能够近似地满足上述要求。

对于由任意给定n个带标签样本构成的训练样本数据集，其中，y_i表示X_i的标签。如果X_i为正例，则希望P（y_i=1|X_i；w）的值越大越好，即

的值越大越好；如果X_i为反例，则希望P（y_i=0|X_i；w）的值越大越好，即

P（y_i=0|X_i；w）=1-P（y_i=1|X_i；w）=1-H（X_i）

的值越大越好。由于y_i的两个取值状态为互补，故可将上述两式结合起来，即有

此时，无论X_i为反例还是正例，都希望P（y_i|X_i；w）的值越大越好。由此可得H（X）在数据集上的似然函数l

为方便计算，将上式两边取对数，得到

可将L作为目标函数，通过求解如下最优化问题获得所求模型参数向量w

在机器学习的具体应用中，可以在线性分类模型的目标函数中加入适当范数惩罚项，通过正则化方式消除模型对样本数据的过拟合。这与前述线性回归模型类似，不再赘述。

【例题3.2】假设确定某产品是否为次品由两个质量指标x₁和x₂决定，由于包装人员粗心，将次品和合格品混合在一起。现取100个具有人工标注的样品，表3-2是这些样品的具体数据（其中，y=1表示合格品，y=0表示次品）。试用表3-2所示数据集合构造一个可用于对产品进行次品与合格品分类的线性分类模型。

表3-2 某产品质量指标

【解】这是一个二分类问题，建立线性模型f（x₁，x₂，x₃）=w₁x₁+w₂x₂+w₃x₃。将w₃置为线性模型的偏置项，即令x₃恒等于1，则有

f（x₁，x₂，x₃）=f（x₁，x₂）=w₁x₁+w₂x₂+w₃

令w=（w₁，w₂，w₃）^T，X_i=（x₁_i，x₂_i，x₃_i）^T，i=1，2，…，60。通过梯度下降算法求解如下似然函数的最优化问题

通过编程计算，解得w=（4.125，0.48，-0.618）^T。由此得到如下分类模型

有了分类模型，对于任意一个产品，只要知道该产品的质量指标x₁和x₂，就可以根据上述所求分类模型算出该产品为合格品的概率。□

现在介绍另外一种名为线性判别分析（Linear Discriminant Analysis，LDA）的分类方法，该方法也是基于线性模型实现机器学习分类任务，即训练构造一种线性分类器，有时亦称为Fisher线性判别（Fisher Linear Discriminant，FLD）方法。

线性判别分析的基本思想是在特征空间中寻找一个合适的投影轴或投影直线，并将样本的特性向量投影到该投影直线，使得样本在该投影直线上易于分类。具体地说，对于给定训练样例集，设法将训练样本投影到如图3-5所示的一种具有合适方向的直线f（X）=w^TX上，使得该直线上同类样例的投影点尽可能接近，而异类样例的投影点则尽可能远离。这样在对新样本进行分类时，可将其投影到该直线上并根据投影点位置确定其类别。

由于不同方向的投影直线会产生不同的投影效果，故投影直线方向的选择是线性判别分析方法的关键。例如，图3-6a、b是两个不同投影方向的示意图，显然图3-6b的投影效果比较好，可以有效实现对不同类别样本点的分离。

图3-5 样本点在投影轴上的投影效果

图3-6 不同投影方向的投影效果

a）非最佳投影方向 b）最佳投影方向

对于给定带标注训练样本数据集，假设D中有且仅有两类样本，其中：为第一类样本，k=1，2，…，n₁；为第二类样本，t=1，2，…，n₂。需要找到一条合适的投影直线f（X）=w^TX，使得同类样本在该直线上的投影点尽可能接近且异类样本在该直线上的投影点尽可能远离。为此，首先需要分别计算这两类样本的映像在投影直线上的中心值或均值，由此获得异类样本映射在投影直线上分布的位置差异。