第3章 天算论(2)

用我的话解释，这是一个效能公式。效能就是效率（相对复杂性）的变化率，因此智能变化率就是智能效率（最优化力）的微分。智能的效能取决于效率（所谓的最优化力）与边际成本变化（所谓的反抗度）的比率。

其中作者没有直接点出的条件是，边际成本是相对于复杂度而变化的（递增或递减）。越复杂，决策成本越低，就叫灵活（SMART，正的智慧）；越复杂，决策成本越高，就叫迟钝（负的智慧）。智能变化率相当于张瑞敏说的打移动靶，最优化力相当于他说的打固定靶。反抗度指的就是目标转变时，要求枪口随目标移动转换所需付出的成本。

因此，智能变化率就是《周易》所说的那个“易”，也就是轻轻松松化解复杂性，表现为太极的“随物宛转，与心徘徊”。举例来说，表现在中华民族，就是5000年来对复杂变化的适应（近期如快速适应世界贸易组织）；表现在个人能力上，如打乒乓球的灵活。超级智能，就是把这个中国人人无师自通的东西变成电脑的能力。

据我考证，人类的第一篇“天算论”，是微积分（也就是变化率之学）的发明者莱布尼茨1703年发表于核心期刊《皇家科学院纪录》上的《论中国伏羲二进位制级数》。莱布尼茨在论文中说：“让我感到自豪的是，若我未发现二进位制数学，这个六十四卦的体系，即伏羲易图，再耗费许多时间也不会被搞明白的。”

电脑的二进制就主要是从这里来的，只不过当年莱布尼茨送给康熙的二进制计算器（帕斯卡尔二代机）不是电的，而是手摇的。2004年中国还拿它到凡尔赛宫展览过—它是超级智能在500年前的祖先。

人算控制天算

当人算不如天算时，以往人类典型的解决方案是像“霸王别姬”那样抹脖子。

项羽认为是天要亡他，人算不如天算，赶紧让脑袋像灯泡那样掉下来就完了。

波斯特洛姆的方案比项羽的方案要积极一些，至少先别认输，还要看看天算会有哪些规律，人算能有哪些办法。这就是本书第五章以后的主要内容。

虽然不敢说作者的这些办法从根上是否管用，但想总比不想好，况且有许多想法还确实开阔了我们的思路。读过本书以后的第一感觉是，项羽算白死了。

读者读到这里时，应该把自己想象成被别人追到乌江了，正想抹脖子，转念一想，办法也许会有，并且“万一实现了呢”？

作者首先讨论了超级智能的形式和能量，以及具有决定性优势的超级智能体有哪些战略选择。之后探讨的重点转向控制问题，并提出为了获得可生存并且有利的结果，如何塑造初始条件的问题。最后指出为了增加成功概率，现在可以做些什么。我们分别进行介绍。

一、战略分析与控制

1.决定性战略优势：分析形势

提出正确问题，是解决问题的第一步。而第一个问题应该是什么？

作者建议这样提出问题：将会有一个还是多个超级智能？是否会有一次智能爆发能够推动某一个项目，使其远远超越其他所有项目，从而主宰未来？或者进展会比较一致，在广阔的范围里同时展开，包含很多个项目，但是没有一个能够长期拥有压倒性的领先地位？

这话说得比较绕，让我用大白话翻译吧：项羽转念一想，将来是刘邦一家独大呢，还是刘邦与其他人（如韩信、臧荼、张耳、彭越……）相争呢？

2.超级认知能力：分析霸主的战略

第二步分析，假设出现了一个数字超级智能体，而且出于某种原因，它想要统治全球，那么它能够成功吗？作者进一步探讨超级智能会拥有哪些能力，以及这些能力能用来做什么。

相当于如果判断未来是刘邦一家独大，就要进一步分析他会有哪些能力，用于何处。

3.超级智能的意愿：分析战略目标与手段之间的关系第三步分析，超级智能可以拥有极大的根据自己的目标塑造未来的能力。但是，它的目标会是怎样的？一个人工智能体的智能与动机之间是什么关系？

作者设想了两种情况。一是目标导向（正交性论点），智能和最终目标是独立变量，任何水平的智能都可以搭配任何最终目标。二是工具导向（工具性趋同论点），不管超级智能具有一系列最终目标中的哪种，都将选择相似的中间目标，因为它们有这么做的共同工具性理由。通过这两种论点，就可以思考一个超级智能体想要做什么的问题了。

相当于分析刘邦想要做什么，是目标导向的呢，还是手段导向的（为了手段而忘记目标型的）？

4.结局注定是厄运吗？不同路径具有不同后果作者发现：当人工智能本来愚蠢时，变聪明是更安全的；但是当它本来就聪明时，变得更聪明则是更危险的。就像有一个轴心点，到这个点上，原来很有效的策略会突然开始逆反。我们可以把这个现象叫作“背叛转折”。

作者举了个例子：假设人工智能的最终目标是“让项目的赞助者高兴”，于是它使在赞助者大脑的快乐中枢植入电极，这样就能够保证赞助者感受到极大快乐。当然，赞助者可能并不想被改造成整天咧着嘴笑的傻子，但是如果这样能最大限度地实现人工智能的最终目标，那么人工智能也会去实施这个方案。

相当于如果刘邦太强大，无法被搞定，但如果他像洪秀全那样沉溺于酒色，以为天下已经搞定，这时便仍有机会。

5.控制问题

作者认为，如果智能爆发的默认后果是导致存在性灾难的发生，那么面对这样的威胁，我们的思路必须立刻转向寻求应对方法。有没有办法可以避免这样的默认结局？有没有可能设计出受控制的智能爆发？

作者将对策集中于委托–代理问题，并把方法分为两大类：能力控制和动机选择。

相当于是选择把文章做在韩信等将军身上以使其造反，还是把文章做在刘邦身上以使其丧志。

6.多极情景：诸侯割据

这是与上面第2点并列的分岔。相当于分析不是刘邦独大，而是陷入诸侯割据的情况。

作者对这一情景的关注包含两个层面。首先，社会融合可能会成为控制问题的一种解决方式。其次，即使没有人着手去创造出多极条件来解决控制问题，多极结局也可能发生。那么，这种结局看起来可能是什么样的呢？最终的竞争社会不一定会吸引人，也不一定能长久持续。

相当于项羽如果分析到刘邦集团会自乱阵脚，陷入内乱，那就没必要着急抹脖子了—毕竟先三十年河东，再三十年河西。

二、获取价值观

《获取价值观》一章及以后的《确定选择标准》各章是本书的精华，具有超越本书的普世的阅读价值。

1.“目标系统工程”

作者的本意，是提出一种叫“目标系统工程”的东西，来避免出现天算超过人算后，电脑把自己当作目的，而让人成为电脑的手段这种异化局面。为此，主张人要先发制人（准确地说是先发制“机”），把目标的控制权掌握在人手中。用作者的话说：“对能力的控制最多是一个暂时、辅助的手段。除非要永久地限制超级智能，否则我们都需要掌握动机选择机制。”

我觉得最有意思的是“价值观加载技术的总结”这张表（见本书第259页）。

它对于治理各类目标与手段不符的问题都有借鉴意义。它至少让我们知道，除了搞运动，人类还可以通过未来几百年的建设来让做事符合宗旨这件事，被专业化地完成。

作者关于“目标系统工程”的具体设想，如管理效用函数、价值评估等，并不重要。将来会有人对其不断改进，使之成熟。这本书最大的贡献在于提出了一个非常正点（“思无邪”）的问题：“怎样才能将一些价值观加载到人工代理内部，使该价值观成为其追求的最终目标呢？”这是人类一万年来的梦想，但从来没有实现过。“目标系统工程”是关于魂的工程，离开了魂，梦便只不过停留在做梦阶段。

正如作者指出的：“这个价值观加载的问题很棘手，但一定要面对。”因为除了魂的原因，还有现实而紧迫的原因：“如果这个代理不是智能的，那么它就会缺乏理解和再现那些对人类有意义的价值观的能力。但是如果我们推迟进程，直到代理变成超级智能之后才行动，就可以抑制住我们在其动机系统中插手的企图。”人类对土地、资本都没有把握好，导致死伤几千万甚至几亿人以后，才想到提出正确的问题。希望这次不会再犯同样的错误。

2.意义建设

提出以“获取价值观”为核心的“目标系统工程”，还具有更大意义。

我一直认为，与农业文明、工业文明并列的，是意义文明。信息只不过是意义的镜子。谈信息不谈意义，好比只有镜子，空无内容。未来的互联网是意义互联网。意义就是这里说的“目标”（准确的说法是目的、宗旨），获取价值观则是指获取对意义的把握权力（如果慎用“控制权力”这个字眼的话）。

工业文明有一个根本特点，它是一个异化社会（资本主义、社会主义只是程度不同），异化社会的特点是系统地为了手段而忘记目的（例如，为了国内生产总值而忘记幸福，为了贪污而忘记服务，为了浪费而忘记委托），这决定了工业社会整体来说，是把专业化的重点放在手段上，但必然的弱点是在目的上十分业余（表现在总是努力向东走，最后发现来到的是西边）。

智能革命只是一种技术性的说法，映射到人文上应是意义革命，也就是让意义从不专业走向专业的这样一场革命。如果超越作者局限于自然科学的一般见识，顺着“目标系统工程”这一卓越思想，就可以发现，作者所谈的实际涉及的是信息文明的核心使命和实事（所谓“工程”）。

读这本书，如果要有更大收获，就要超越单纯技术思维，从如何变一种类型的技术（异化的技术）为另一种类型的技术（可“获取价值观”的技术），举一反三地悟到如何让整个技术作为手段服务于人的目的。

人算在技术上可能将来有不如天算的一天，但人因为具有意义（再加上“清楚地知道如何制造超级智能机器”）而可以达到“人定”，于是顺理成章可以“胜天”，或天人合一。

基于此，我说句题外话—超级智能，需要超级意义。

姜奇平

中国社会科学院信息化研究中心秘书长、《互联网周刊》主编