2.1.9　两种类型的多层感知器

到目前为止，本书讨论的所有示例都称为前馈网络，因为激活是从输入节点通过隐藏节点传输到输出节点的。前馈网络的一种变体是另一种称为简单循环网络（SRN）的模型（Elman，1990），其本身是Jordan（1986）之前引入的体系结构的一种变体。简单循环网络与前馈网络的不同之处在于具有一个或多个附加节点层，称为上下文单元，它由隐藏层提供的单元组成，但可以反馈回（主）隐藏层（参见图2.10）。这些更复杂的模型的优点（如本章稍后所述）是，与前馈网络不同，通过简单循环网络可以了解有关随时间推移而呈现的元素序列的一些信息。

图2.10　前馈网络（左）和简单循环网络（右）