2.4.2　对初步思考的评价

生物学的合理性、通用函数的近似等，显然有利于对多层感知器的初步思考，但实际上没有一个因素是决定性的。相反，正如在科学中经常出现的情况，初步思考并不足以解决科学问题。例如，尽管多层感知器可以近似一系列函数（如Hornik，Stinchcombe & White，1989），但是不清楚范围是否足够广泛。Hadley（2000）认为这些模型不能捕获一类函数（称为部分递归函数），而有些人认为这些函数捕获了人类语言的计算特性。

无论这些模型在原则上是否能捕获足够广泛的函数，Hornik、Stinchcombe和White的证明只适用于具有任意数量隐藏节点的网络。这样的证明并不能说明一个具有固定资源的特定网络（例如，一个具有50个输入节点、30个隐藏节点和50个输出节点的三层网络）可以近似任何给定的函数。相反，这些证明表明，对于某个非常广泛的类中的每一个函数，都存在某种可以建模该函数的联结主义模型——可能每个函数有不同的模型。此外，这些证明不能保证在给定一定数量的训练集或具有一定数量的隐藏单元的情况下，任何特定的网络都可以学习该特定函数。他们无法保证多层感知器能像人类那样从有限的数据中归纳出结论。（例如，我们将在第3章中看到，尽管所有的多层感知器都可以表示恒等函数，但在某些情况下它们无法学习它。）在任何情况下，关于通用函数逼近器的所有论述可能都是没有根据的。大脑或任何实例化的网络都不能从字面上被看成通用函数逼近器，因为逼近任何函数的能力（不切实际地）取决于是否拥有无限资源[8]。最后，正如可以构建一些多层网络来近似任何函数一样，我们也可以构建一些符号加工设备来近似任何函数[9]。因此，讨论通用函数近似是一个转移注意力的话题，实际上并不能区分多层感知器和符号加工。

同样，至少从目前来看，对生物学合理性的考虑不能在实现符号加工的联结主义模型和消除符号加工的联结主义模型之间做出选择。首先，多层感知器在生物学上是合理的这一论点被证明是站不住脚的。反向传播的多层感知器缺乏像大脑一样的结构和分化（Hubel，1988），并且需要可以在兴奋性和抑制性之间变化的突触，而实际的突触不能如此变化（Crick & Asunama，1986；Smolensky，1988）。其次，多层感知器像大脑一样的方式（例如，它们由多个并行运行的单元组成）对于与符号加工一致的许多联结主义模型（例如将在第4章和第5章中讨论的时序同步框架或排列成逻辑门的McCulloch-Pitts神经元阵列）同样适用。

生物学上的合理性的另一面是生物学上的不合理性。有些人反对符号加工，理由是我们不知道它如何在大脑中实施（例如，Harpaz，1996）。但同样可以说，我们不知道如何在大脑中实现反向传播。宣扬生物学的不合理性是一种很容易产生误导的无知。例如，我们还不知道大脑是如何编码短期记忆的，但如果认为短期记忆的心理过程“在生物学上是不合理的”，那就错了（Gallistel，1994）。联结主义不应该盲目地坚持我们对生物学的了解，因为我们所知道的太少了。正如Elman等人（1996，p.105）所言，“显然，关于神经系统还有很多未知的东西，人们不希望建模总是落后于当前的科学状态。”到目前为止，关于生物学上的合理性和不合理性的考虑还不足以支持我们在模型之间做出选择[10]。简而言之，对于认知如何在神经基质中实现这一问题，没有人能保证正确的答案在我们看来是“生物学上合理的”。我们不能把目前生物学上看起来似乎合理的东西与生物学上看起来确实真实的东西混为一谈。

其他的初步思考同样不足以在架构之间做出选择。例如，学习的能力和故障弱化的能力都不是多层感知器独有的。建模学习是诸如SOAR（Newell，1990）之类的规范认知符号模型和诸如Pinker（1984）所描述的语法学习模型的核心。虽然一些符号系统对于退化输入是不鲁棒的，但其他符号系统对其是鲁棒的（Fodor & Pylyshyn，1988）。例如，Barnden（1992b）描述了一个对部分输入具有鲁棒性的符号类比推理系统。各种各样的符号加工机制——从检查传输信息准确性的纠错算法，到寻找与某个目标共享属性子集的项的系统——是否足以解释人类从退化输入中的恢复仍有待观察，目前，相关的经验数据还很少。

从逻辑上讲，与将要实现和不实现符号加工的联结主义模型之间的区别无关的另一个问题是，大脑是否包含大量固有的结构。尽管多层感知器通常具有的固有结构较少，但原则上可以预先指定其连接权重（实际在某种程度上已预先指定连接权重的系统示例，请参阅Nolfi，Elman & Parisi，1994）。同样，尽管许多符号处理模型具有很多固有结构，但并非所有模型都具有固有结构（例如Newell，1990）。

最后，尽管可以说多层感知器比符号模型更简约，但也可以说它们不那么简约。正如McCloskey（1991）指出的那样，人们可能会争辩说，具有数千个连接权重的网络具有数千个自由参数。由于生物系统很复杂，因此先验地将自己限制在少数几个机制上可能并不明智。正如Francis Crick（1988，p.138）所说：“虽然奥卡姆剃刀在物理学中是一种有用的工具，但在生物学中是非常危险的工具。”在任何情况下，简约仅在足以覆盖数据的模型之间进行选择。由于目前缺乏此类模型，因此现在应用简约还为时过早。

简而言之，这些初步思考都没有强迫我们接受或拒绝多层感知器。由于此时它们既不能被接受也不能被拒绝，因此是时候开始基于其他理由对其进行评估了。我们还必须要面对一个棘手的问题，即多层感知器是否可作为符号加工的实现或替代品，这个问题比最初出现的时候要困难得多。