1.5 让计算机理解人类的语言

1949年5月31日，《纽约时报》兴奋地发布了一条新闻：“一种新型的‘电子大脑’不仅可以进行复杂的数学运算，而且可以翻译外文。它由位于加州大学的国家标准实验室研制。参加项目研发的科学家们说，他们将实现覆盖《韦伯大学词典》6万个单词的3种语言的翻译能力。”

然而，这样一种系统的研发在当时面临着各种技术问题，最后只能无果而终。连《纽约时报》后来也不得不承认说：“如何让一台机器分辨法语中同一个单词的意思是‘桥’还是‘码头’？所有机器能做的事情只是简单地寻找一个法语单词在英语词典里对应的单词，无法从实际语义上确定应该如何翻译。”

自然语言处理一直是人工智能研究中的一个重要课题。人工智能研究早期探索的一个方向，就是想要找到一种方法能够让机器识文断字。我们知道人类的多种智能都与语言文字有着密切的关系。人类的逻辑思维以语言为形式，人类的绝大部分知识也是以语言文字的形式记载和流传下来的。

实现人机间自然语言通信意味着要使计算机既能看得懂文字，理解其中的意思，又能以自然语言的形式来表达给定的意图、思想等。前者称为自然语言理解，后者称为自然语言生成，这就是自然语言处理。机器翻译就是自然语言处理的一个具体应用。

一个真正的机器翻译系统直到1954年1月才在美国乔治城大学开发成功。虽然它只包含了6条语法规则和250个单词，但它把几十个俄文句子成功地翻译成了英文，这在历史上还是第一次。当时还没有像现在这样方便的人机交互方式，俄文句子必须通过打孔卡片输入到一台IBM 701大型计算机中，翻译出来的英文也是通过一台连接在这台计算机上的打印机打印出来的。

在关于机器翻译的研究中一直有两种不同的方法，其中一种是以乔姆斯基为代表的语言学方法，另一种是以贾里尼克为代表的统计学方法。身为犹太人的乔姆斯基出生在美国宾夕法尼亚州的费城。虽然他从宾夕法尼亚大学取得了语言学博士学位，但他的大部分博士研究是用4年时间以哈佛年轻学者的身份在哈佛大学完成的。在博士论文的撰写中，他开始形成自己的一些语言学思想，后来他将这些思想进一步阐发，写成了《句法结构》这本被认为是20世纪理论语言学研究方面最伟大贡献的著作。这本书也成为了人工智能机器翻译语言学方法的圣经。

按照乔姆斯基的句法结构，句子可以通过一系列规则得到解析。一个句子可以解析成名词词组和动词词组，而名词词组和动词词组又可以进一步解析。他认为，所有语言都有与此类似的句法结构，这种结构是内在的，而不是通过经验得来的。在乔姆斯基的理论中，机器翻译就是通过对一个句子进行结构解析和合并重构来完成的。这其实是一种逻辑方法，并暗合于计算机科学中的有限自动机理论，成为了早期机器翻译的主要方法。

乔姆斯基不仅是一位学者，还是一名社会活动家，1967年因为反对越战坐过牢。麻省理工学院为了保护这位“口无遮拦”的“院宝”，多次为他雇用保镖保护他的人身安全，因为他的名字曾经出现在邮件炸弹的黑名单上。其实，他是一位典型的学究，率性固执，但天真善良。据说，他在狱中因为不能给学生上课而感到不安和自责。

和以乔姆斯基理论为代表的语言学方法对立的就是统计学方法。1988年，美国IBM公司沃森研究中心机器翻译小组发表了一篇关于机器翻译统计学方法的论文，并推出了法语和英语的翻译系统CANDIDE。贾里尼克作为该小组的组长，成为了机器翻译统计学方法的代表。他的名言就是“我每开除一位语言学家，我的语音识别系统的性能就能提高1倍”。看得出来，他是多么不喜欢自然语言处理中的语言学方法。

乔姆斯基

所谓统计学方法，就是在大量数据的基础上形成语料库，通过概率统计来发现数据特征，建立数据模型。实际上，这是一种建立在大数据之上的机器学习方法。简单来说，一个词在生活中的用法多种多样，但在不同环境和场合中出现的频率不同，和其他词语关联的频率也不同。我们把这种出现的频率叫作概率，把各种词语出现的概率记录下来，建立一个词语统计模型。通过这样的统计模型，我们就可以分析和理解一个句子的意思。

就在乔姆斯基一边研究他的句法结构一边积极参与反战的社会活动时，另一位德裔犹太人魏森鲍姆在麻省理工学院编写了一个用于心理咨询的会话程序ELIZA。用今天的话说，这就是一个聊天机器人，它能通过计算机终端和人进行交流。其实，ELIZA是一个超级简单的程序。它只是简单地在一个按词频排序的词库里进行搜索，如果找到了一个合适的单词来匹配，就在脚本库里选择一个合适的回复。

连魏森鲍姆教授自己也没有想到，这样一个小玩意儿竟然轰动一时。很多来麻省理工学院访问的学术界和新闻界人士都要来到他的办公室亲自和这位机器心理医生聊一聊。一次，一位来找魏森鲍姆教授谈合作的某公司副总裁在终端上聊了一会儿，觉得这玩意儿真不错。他认为一定有人在机器后面操作。于是在走的时候，他把自己的电话号码输入到终端上，说：“有时间给我打电话，好吗？”可终端一直没有回答他。这可把这位副总裁气坏了，因为从来没有人敢这样怠慢他。其实他自己输完最后一句话后没有按回车键，机器不是傲慢，而是以为他的话还没有讲完，一直在毕恭毕敬地等着他结束对话呢。

魏森鲍姆

维诺格拉德不是乔姆斯基的学生，但他在读研究生的时候选修了语言学系乔姆斯基教授的句法课。因为他读的是人工智能专业，所以在期末考试的论文中，他试图说明为什么人工智能的方法可行。这让乔姆斯基很不开心，一气之下给了维诺格拉德一个C的成绩，吓得维诺格拉德再也不敢选乔姆斯基的课程了。不过，维诺格拉德的博士论文题目还是和语言有关，他开发了一个叫积木世界的东西。他用显示器展示了一个虚拟的积木世界，人们可以通过简单的自然语言，命令一个虚拟的机械手对这个积木世界里面的积木进行虚拟操作。如果机器不能确定人们给出的命令，就会向人们提问。整个系统就像一个游戏一样。

积木世界

维诺格拉德的积木世界远比魏森鲍姆的机器心理医生复杂，学术意义也更加深刻。它把当时的很多人工智能技术整合到了一起，除了自然语言处理外，其中还用到了规划和知识表达。它涉及语言的很多方面，包括语言的输入、输出和生成，知识的表示和理解，世界和思想。积木世界还暗含了一种哲学思想，即意义就是语言的使用。语言的使用就是心和物（世界）之间的交互。积木世界就是语言游戏，成为了一种研究语言的方法。为此，维诺格拉德获得了国际人工智能联合会颁发的第一届“计算机与思维奖”。