2.1.2　活性值

输入节点的活性值由程序员给出。如果给定模型的输入是不规整的数据，那么程序员可能会“打开”毛刺节点（即，将其活性值设置为1.0）；如果输入的是规整的数据，程序员将“关闭”毛刺节点（即，将其活性值设置为0）。

然后，将输入的活性值乘以连接权重，该权重指定了任意两个节点之间相互连接的强度。在最简单的网络中，单个输入节点连接到单个输出节点，将输入节点的活性值乘以该连接的权重即可计算出到输出节点的总输入量。

输出节点的活性值就是总输入代入某些函数的计算结果。例如，一个输出节点的活性值可能仅等于提供给它的总激活量（线性激活规则），或者仅在总激活量大于某个阈值（二进制阈值激活规则）时才成立。含有隐藏单元的模型使用更复杂的S形激活规则，其中给定节点产生的活性值范围在0～1之间平滑变化。这些可能性在图2.2中进行了说明。

图2.2　激活函数将对节点的总输入转换为激活。图中分别为线性函数，二进制阈值函数和非线性S形激活函数

在具有多个输入节点的网络中，给定节点的总输入是通过取每个节点反馈给该节点的活性值总和来计算的。例如，在具有两个输入节点（A和B）和一个输出节点（C）的网络中，通过将A的输入（计算A节点的活性值与A节点和C节点之间的权重值的乘积）与B的输入（计算B节点的活性值与B节点和C节点之间的权重值的乘积）相加可以得出输出节点C的总输入。因此，给定节点的总输入是反馈给该节点的活性值的加权总和。