2.4.1 无监督学习的Hebb算法

神经网络的无监督学习与无监督训练相对应，该方法最早由Kohonen等提出。

神经网络主要的无监督训练方法有Hebb学习律、竞争与协同学习、随机连接学习等。其中，Hebb学习律是最早被提出的学习算法，目前的大多数算法都来源于此算法。

Hebb算法是由Hebb在1961年提出的。该算法认为，连接两个神经元的突触的强度按下列规则变化：当两个神经元同时处于激活状态时，强度被加强；否则被减弱。用数学形式表示如下：

其中，W_ij（t+1）和W_ij（t）分别表示神经元AN_i到AN_j的连接在时刻t+1与时刻t的强度；o_i（t）和o_j（t）为这两个神经元在时刻t的输出；η为给定的学习率。