1.3.1　神经元模型

人类大脑神经网络中的每个神经元都具有来自其他神经元（突触）的输入连接。这些神经元以电荷的形式接受刺激，并且每个神经元都有一个核用于决定输入如何刺激神经元，从而判断是否触发神经元的激活。在神经元的末端，输出信号通过树突传播到其他神经元，从而形成神经元网络。

深度学习与人类神经元的相似之处如图1.3所示，其中输入由向量x表示，神经元的激活用函数z(·)表示，输出为y。神经元的参数为w和b。

图1.3　神经元的基本结构

神经元的可训练参数为w和b，它们是未知的。因此，可以使用一些学习策略通过训练数据D来确定这些参数。从图1.3可以看出，乘，乘，b乘1，将这些乘积全部加起来，可以简化为：

激活函数用于确保输出在期望的输出范围之内。假设我们想要一个简单的线性激活方式，那么可以让函数不存在或者绕过函数，如下所示：

当我们想要解决一个回归问题，并且输出数据的范围从-∞到+∞时，通常会出现这种情况。然而，可能需要训练神经元来确定向量x是否属于两个类（比如-1和+1）中的一个，此时将更适合使用称为符号函数的激活函数：

其中函数的定义如下：

还有许多其他类型的激活函数，我们将在后面陆续介绍它们。下面简要展示一个最简单的学习算法——感知机学习算法（PLA）。