01 欢迎参与我们这个时代最重要的对话

科技赋予生命一种潜能，它能实现前所未有的繁荣，也能让生命自我毁灭。

——未来生命研究所

Welcome to the most important conversation of our time

从宇宙诞生伊始，已有138亿年的光阴。现在，我们的宇宙正在苏醒，并开始意识到自我的存在。在我们的宇宙中，在这颗小小的蓝色星球上，一些有知觉的小生物正在用望远镜窥视着宇宙的深处。他们一次又一次地发现，过去认为存在于世的一切事物其实都只是更大物体的一小部分，这些更大的物体是太阳系、银河系、包含数千亿个河外星系的宇宙……而这些星系又排列成了精巧的星系群、星系团和超星系团。虽然这些具有自我意识的“观星者”在许多事情上都难以达成共识，但他们都无一例外地同意：这些星系是如此美丽，如此摄人心魄，又如此令人敬畏。

但是，美只存在于旁观者的眼中，而不存在于物理定律中。因此，在我们的宇宙苏醒之前，美并不存在。这让宇宙的苏醒显得更加奇妙，更加值得庆贺：因为它让我们的宇宙从一个无脑、不自知的“僵尸”转变成了一个生机勃勃的生态系统，其中孕育着自省、美和希望，并让存在其中的生命追寻着目标、意义和意志。假设宇宙没有醒来，对我而言，它就是完全空洞、毫无意义的，只是一个浪费空间的庞然大物罢了。如果我们的宇宙因为一些宇宙级的大灾难或者自作自受的不幸事件而重新陷入沉睡，那么它又将再次回到那个毫无意义的死寂状态，真是可悲可叹。

然而，一切也可能变得更加美好。虽然我们还不知道人类是不是这个宇宙中唯一的或者最早的观星者，但我们已经足够了解我们的宇宙，知道它有可能会比现在苏醒得更加彻底。或许，人类对宇宙而言，就像清晨的你从睡梦中初醒时体会到的那一线微弱的自我意识一样，只是一个预告，预示着只要你睁开双眼，完全清醒过来，就会迎来更加庞大的意识。或许，生命将会在宇宙中散播蔓延开来，繁盛兴旺亿万年，甚至亿亿年的时间；或许，这种情景会因为我们有生之年在这颗小星球上所做出的种种决定而成为现实。

复杂简史

那么，这个惊人的苏醒过程是如何发生的呢？它不是一个孤立事件，而只是一个过程的一小步。在138亿年的无情岁月中，这个过程让宇宙变得愈发复杂和有趣，并且，它的步调正在加快。

作为一位物理学家，我很庆幸花了过去1/4个世纪的时间来研究我们宇宙的历史。同时，这也是一段精彩的发现之旅。得益于精度更高的望远镜、更强大的计算机和更深入的知识积淀，从我上研究生那会儿开始，人们争论的焦点就已经从“宇宙是100亿岁还是200亿岁”转变成了“宇宙是137亿岁还是138亿岁”。我们物理学家至今仍不能肯定，到底是什么触发了宇宙大爆炸，也不知道大爆炸是不是万事万物的起点，抑或只是某个存在于大爆炸之前的状态的结果。不过，多亏了一系列高质量的观测数据，我们已经非常了解，宇宙在大爆炸之后发生了什么。因此，请允许我花几分钟的时间来总结一下这138亿年的宇宙历史。

一开始，就有了光。

在大爆炸后的一瞬间，从理论上来说，可用望远镜观测到的整个空间区域比太阳的核心还要热得多和亮得多，并且迅速膨胀。虽然这听起来很壮观，但实际上却很无趣，因为那时候，我们的宇宙就是一锅毫无生机、滚烫致密、沉闷均匀的基本粒子汤，除此之外，别无他物。宇宙各处看起来似乎都差不多，唯一有趣的结构是一些模糊不清、看似随机的声波，这些声波让这锅“汤”的某些部分比其他部分的致密程度高出大约0.001%。许多人相信，正是这些模糊的声波引发了所谓的“量子涨落”，因为量子力学主要创始人沃纳·海森堡提出的不确定性原理不允许任何事物呈现完全无聊和均匀的状态。

随着我们的宇宙的膨胀和冷却，它变得越来越有趣，因为宇宙中的粒子开始组合成日益复杂的物质。在开始的一瞬间，强核力将夸克组合成质子（氢原子核）和中子，其中一部分又在几分钟内聚变成氦原子核。大约40万年后，电磁力将这些原子核与电子组合起来，形成了最初的原子。随着宇宙继续膨胀，这些原子逐渐冷却下来，成为冰冷黑暗的气体。“最初的黑夜”持续了大约1亿年的时间。当万有引力在这些气体中放大了涨落，用原子组成了最初的恒星与星系时，长夜终于终结，宇宙的黎明开启了。这些最初的恒星将氢原子聚变成更重的原子，例如碳、氧和硅，并在这个过程中产生了热量和光。当这批恒星死去时，它们创造出来的许多原子又回到了宇宙中，形成了围绕在第二代恒星周围的行星。

在某个时间点上，一些原子组合成了一种能够维系和复制自我的复杂形态。因此，它很快就变成了两个，而且数量不断增加，只经历了40次翻倍，它的数量就达到了一万亿。这个最初的“自我复制者”很快成为一股不容忽视的力量。

生命降临了。

生命的三个阶段：生命1.0、生命2.0和生命3.0

生命是什么？这个问题的争议之大，众所周知。关于这个问题，有许多不同的定义，其中的一些要求非常明确，比如要求生命由细胞组成。这种要求可能不太适用于未来的智能机器和外星文明。由于我们不想将我们对未来生命的思考局限在过去遇到过的物种，所以让我们将生命定义得更广阔一些：它是一个能保持自身复杂性并能进行复制的过程。复制的对象并不是由原子组成的物质，而是能阐明原子是如何排列的信息，这种信息由比特组成。当一个细菌在复制自己的DNA时，它并不会创造出新的原子，只是将一些原子排列成与原始DNA相同的形态，以此来复制信息。换句话说，我们可以将生命看作一种自我复制的信息处理系统，它的信息软件既决定了它的行为，又决定了其硬件的蓝图。

与宇宙自身一样，生命逐渐变得越来越复杂和有趣。现在，请允许我做一点解释。我发现了一个有用的方法，就是根据复杂程度将生命形式分成三个层次。这三个层次分别是生命1.0、生命2.0和生命3.0。我在图1-1中总结了这三个层次的意思。

生命最早是在何时何地、以何种方式出现在我们的宇宙中的呢？这个问题依然没有答案。不过，有力的证据表明，地球上的生命最早出现在大约40亿年前。不久之后，我们的地球上就充满了各种各样的生命形态。那些最成功的生命很快便从中胜出，并具备了某种与环境共生的能力。具体而言，它们就是被计算机科学家称为“智能体”（Intelligent Agent）的东西：这种实体用感应部件收集关于环境的信息，然后对这些信息进行处理，以决定如何对环境做出回应。对信息的处理可以包括高度复杂的信息处理过程，例如，你能用眼睛和耳朵收集信息，并用这些信息来决定在一段对话中要说些什么；不过，它也可以只包括非常简单的硬件和软件。

比如说，许多细菌都有感应器，用来测量周围液体中的糖浓度。同时，它们还拥有一种形状很像螺旋桨的结构，叫作“鞭毛”，用来游泳。将感应器和鞭毛连接起来的硬件可能会执行下面这个简单却很有用的算法：

如果我的糖浓度感应器发现周围液体中的糖浓度值比几秒钟前低，那么，改变鞭毛的游向，我就可以改变方向了。

作为一个人，你学会了说话，还学会了无数其他技能。但是，细菌却不是一个很好的“学习者”。它们的DNA不仅规定了硬件的设计，比如糖感应器和鞭毛，还规定了软件的设计。它们永远学不到“应该游向糖多的地方”；相反，这个算法从一开始就“写死”在它们的DNA中。虽然在细菌身上还是存在某种学习的过程，但这并不是发生在单个细菌的一生中，而是发生在细菌这个物种的进化过程中，通过之前许多代的试错，自然选择在DNA的随机变异中选出了能提高糖摄入量的那些变异。其中一些变异帮忙改进了鞭毛等硬件的设计，还有一些变异改善了软件，譬如执行“寻糖算法”的信息处理系统。

这些细菌就是被我称为“生命1.0”的一个例子。生命1.0是说：生命的硬件和软件都是靠进化得来的，而不是靠设计。不过，你和我却属于“生命2.0”：生命的硬件是进化而来，但软件在很大程度上却是依靠设计的。在这里，“软件”指的是你用来处理感官信息和决定行动时使用的所有算法和知识，从你识别某人是不是你朋友的能力，到你行走、阅读、写作、计算、歌唱以及讲笑话的能力，这一切都属于软件。

刚出生时，你是无法完成以上这些任务的。所有的软件都是后来在一个被我们称为“学习”的过程中编入了你的大脑。你小时候的课程表大多是由你的家人和老师设计的，他们决定了你应该学什么；不过，你会逐渐获得更多的权利，开始设计自己的软件。或许，学校允许你选修一门外语，那你想不想在大脑中安装一个法语软件模块或者西班牙语模块？你想不想学打网球或下象棋？你想不想成为一位厨师、律师或者药剂师？你想不想通过阅读一本书来学习更多关于人工智能和生命未来的知识？

生命2.0能够重新设计自身的软件，这种能力让它比生命1.0聪明许多。高度的智能不仅需要许多由原子组成的硬件，还需要大量由比特组成的软件。我们人类的大部分硬件都是出生后通过生长获得的，这个事实十分有用，因为这说明我们身体的最终尺寸并不局限于母亲产道的宽度。同样地，我们人类的软件也是在出生后通过学习获得的，这个事实也十分有用，因为这说明我们最终能达到的智能程度不局限于受精时DNA所传递的信息量——这是生命1.0的风格。我现在的重量比出生时重了25倍，我脑中连接神经元的突触存储的信息比我出生时的DNA存储的信息多了大约10万倍。突触存储着我们所有的知识和技能，大约相当于100TB的信息，而我们的DNA却只存储了大约1GB的信息，还不如一部电影的容量大呢。因此，一个刚出生的婴儿不可能说一口流利的英文，也没法参加高考，而且这些信息无法预先被安装在他的大脑中，因为他从父母那里得来的信息主模块，也就是他的DNA，缺乏足够的信息存储能力。

设计软件的能力不仅让生命2.0比生命1.0更加聪明，还让它们更加灵活。如果环境发生改变，生命1.0只能通过多代进化来缓慢适应新环境，而生命2.0却可以通过软件升级来立刻适应新环境。比如，如果细菌总是遇到抗生素，就可能在许多代之后进化出抗药性，但单个细菌并不会改变自己的行为；相反，一个女孩如果知道自己对花生过敏，就会避免接触花生。这种灵活性在群体层面上赋予了生命2.0更大的优势：即便我们人类DNA中存储的信息在过去5万年都没有发生过什么大变化，但存储在我们大脑、书籍和计算机中的信息总量却仿佛发生了爆炸。通过安装一个允许我们用复杂的口语进行交流的软件模块，我们便可以将某人大脑中存储的最有用的信息复制到另一个大脑中，这些信息甚至在最初那个大脑死去之后，还可能继续存在。通过安装一个能让我们读写的软件，我们就能够存储和分享远超于人类记忆总量的大量知识。通过学习科学和工程学知识，我们可以开发出能产生科技的大脑“软件”，任何人只需点击几次鼠标就能获得全世界的大部分知识。

这种灵活性让生命2.0统治了地球。从基因的桎梏中解放出来之后，人类总体的知识量以越来越快的速度增长，一个突破接着一个突破：语言、写作、印刷、现代科学、计算机以及互联网等。人类共同的“软件”发生着空前快速的文化进化，这种进化逐步成为塑造人类未来的主要力量。相比之下，极端缓慢的生物进化开始显得无关紧要起来。

尽管我们今天拥有强大的科技能力，但从根本上来说，我们所知的所有生命形式都依然受到生物“硬件”的局限。没有人能活100万年，没有人能记住Wikipedia的所有词条，理解所有已知的科学知识，也没有人能在不依靠航天器的情况下进行星际旅行。没有人能将很大程度上了无生机的宇宙转变成一个能繁荣亿万年的多样化的生态圈，从而让我们的宇宙最终发挥出所有潜能，并彻底苏醒过来。所有这些，都需要生命经历一次最终的“升级”，升级成不仅能设计自身软件，还能设计自身硬件的“生命3.0”。换句话说，生命3.0是自己命运的主人，最终能完全脱离进化的束缚。

这三个阶段之间的界限有一点模糊。如果细菌是生命1.0，人类是生命2.0，那你可以把老鼠看作生命1.1：虽说它们可以学习许多知识，但还不足以进化出语言能力，更不可能发明互联网。此外，由于它们没有语言能力，所以学到的大部分东西在死去后就丢失了，并不会传递给下一代。同样地，你也可以认为，今天的人类其实应该算是生命2.1：虽说我们可以对自身的硬件实施一些微小的升级，比如种植假牙、植入人工膝关节和心脏起搏器。不过，我们却没法做到“长高10倍”或“把大脑容量扩大1000倍”这种戏剧化的事情。

总之，我们可以根据生命设计自身的能力，把生命的发展分成三个阶段：

○生命1.0（生物阶段）：靠进化获得硬件和软件；

○生命2.0（文化阶段）：靠进化获得硬件，但大部分软件是由自己设计的；

○生命3.0（科技阶段）：自己设计硬件和软件。

经历了138亿年的漫漫进化之后，宇宙前进的步伐在我们的地球上开始猛然加速：生命1.0出现在约40亿年之前，生命2.0出现在约10万年前，而许多人工智能研究者认为，随着人工智能的发展，生命3.0可能会在一个世纪以内降临，甚至可能会出现在我们的有生之年。到时候会发生些什么？这对我们人类来说意味着什么？这就是《生命3.0》这本书的主题。

生命3.0何时出现

这个问题极富争议，而且争议得十分精彩。全球顶尖的人工智能研究者不仅在做出预测时众说纷纭，他们的情绪反应也截然不同：有的是充满信心的乐观主义者，有的则怀有严肃的担忧；甚至于，对于人工智能会在短期内对经济、法律和军事方面造成什么影响，他们也都难以达成共识。如果我们将讨论的时间范围扩大一些，把通用人工智能，特别是达到或超过人类智能水平、使得生命3.0成为可能的通用人工智能涵盖进讨论的话题，那么他们的分歧就更大了。与包括下棋软件等狭义人工智能不同的是，通用人工智能几乎可以完成任何目标，包括学习。

有趣的是，关于生命3.0的争议围绕着两个而不是一个问题展开，这两个问题分别是“何时”和“什么”，即如果生命3.0真的会出现，那何时会发生？这对人类意味着什么？我认为，存在三个截然不同的学派。这三个学派都值得我们认真对待，因为它们之中都包括一些世界顶尖的专家。我在图1-2中描绘了这三个学派，它们分别是：数字乌托邦主义者（Digital Utopians）、技术怀疑主义者（Techno-Skeptics）和人工智能有益运动支持者（Members of The Beneficial-AI Movement）。现在，请允许我向你介绍一些他们中最雄辩的支持者。

数字乌托邦主义者：数字生命是宇宙进化的天赐之选

小时候，我认为亿万富翁都是浮夸和自大的，但2008年，当我在谷歌公司遇到拉里·佩奇时，他完全颠覆了我的刻板印象。佩奇穿着一条休闲牛仔裤，一件非常普通的衬衫。如果他坐在麻省理工学院的草地上，一定会迅速地融入野餐的人群。佩奇讲话的时候很温和，笑起来十分友善，这让我在和他交谈时感到很放松，没有一丝紧张感。2015年7月18日，埃隆·马斯克和他前妻塔卢拉·赖利（Talulah Riley）在纳帕谷举行了一个宴会。在宴会上，我遇到了佩奇，聊起了我们的孩子对粪便的共同兴趣。我推荐了安迪·格里菲思（Andy Griffiths）的经典作品《我的屁股发疯的那天》（The Day My Butt Went Psycho），佩奇马上就买了一本。我不断地提醒自己，他可能是人类历史上最具影响力的人：我猜测，假设在我的有生之年出现了吞噬宇宙的超级智能数字生命，这个决定应该就是佩奇做出的。

后来，我们与我们的妻子们——露西·索斯沃斯（Lucy Southworth）和梅亚·奇塔·泰格马克（Meia Chita-Tegmark）一起共进晚餐。在席间，我们讨论了机器会不会产生意识这个问题。佩奇认为，这个问题是在混淆视听，并没那么重要。稍晚些时候，在鸡尾酒会之后，佩奇和马斯克展开了一场冗长但热烈的辩论，主题是人工智能的未来以及我们应该为此做些什么。到凌晨时，围观者变得越来越多。我认为，佩奇激烈维护的观点正是我认为的“数字乌托邦主义者”特有的观点。这个派别认为，数字生命是宇宙进化自然而然、令人期待的下一步，如果我们让数字智能自由地发展，而不是试着阻止或奴役它们，那么，几乎可以肯定地说，结果一定会是好的。我认为，佩奇是数字乌托邦主义最具影响力的支持者。他说，如果生命会散播到银河系各处甚至河外星系（他认为这肯定会发生），那么，这应当以数字生命的形式发生。他最大的担心是，人们对人工智能的猜疑和妄想会延迟这个数字乌托邦的到来，而且可能会导致邪恶的人工智能发动军事叛乱，接管人类社会，违背谷歌“不作恶”的座右铭。马斯克则一直还击，要求佩奇把观点讲得更详细一些，比如，为什么他如此相信数字生命不会毁灭我们关心的一切。佩奇时不时抱怨马斯克有“物种歧视”：只因某些生命形式是硅基而非碳基就认为它们低人一等。从第4章开始，我们会回到这些有趣的问题上，进行详细的探讨。

在那个炎热夏日的泳池边，尽管佩奇似乎有些寡不敌众，但实际上，他极力维护的“数字乌托邦主义”拥有许多支持者。1988年，机器人学家兼未来学家汉斯·莫拉维克（Hans Moravec）写了一本经典著作《智力后裔》（Mind Children），这本书启发了整整一代数字乌托邦主义者。因此，这一观点得以延续下来，后来又被未来学家雷·库兹韦尔（Ray Kurzweil）所提炼。理查德·萨顿（Richard Sutton）是人工智能领域强化学习的先驱，在我们于波多黎各岛举行的会议上，他激情四射地捍卫了数字乌托邦主义。我之后会简略地给你讲讲这个会议的情况。

技术怀疑主义者：没有必要杞人忧天

有些思想家一点也不担心人工智能将会带来的影响，不过，不担心的原因却与数字乌托邦主义者截然不同。这些思想家认为，建造超人类水平的通用人工智能实在太困难了，没有几百年的时间，根本无法实现，因此没必要杞人忧天。我把这种观点称为“技术怀疑主义”。拥有“中国谷歌”之称的百度的前首席科学家吴恩达对这种观点进行了很好的阐释：“担心杀手机器人的崛起，就好像担心火星出现人口过剩一样。”最近在波士顿的一场会议上，吴恩达再次向我重申了自己的这个观点。他还告诉我，他担心对人工智能风险的担忧可能会引导人们对人工智能充满恶意，从而制约人工智能的发展。还有一些技术怀疑主义者也发表过类似的言论，比如Roomba扫地机器人和Baxter工业机器人制作背后的原麻省理工学院教授罗德尼·布鲁克斯（Rodney Brooks）。我发现一个很有趣的事实：尽管数字乌托邦主义者和技术怀疑主义者都认为我们无须担心人工智能，但在其他事情上，两者的共同点却少之又少。大部分乌托邦主义者认为，与人类智能水平相当的通用人工智能可能会在20～100年内实现，而技术怀疑主义者认为，这是一种乌托邦式的幻想，他们经常会嘲笑一些人预测的“奇点”，并将其戏谑为“书呆子的臆想”。2014年12月的一个生日宴会上，我遇到了布鲁克斯，他对我说，他百分之百地肯定，奇点不会发生在我的有生之年。“你确定你的意思不是99%？”在后来的一封邮件中，我如此问道。他回复我说：“不是没用的99%。就是100%。奇点根本不会发生。”

人工智能有益运动支持者：人工智能的研究必须以安全为前提

2014年6月，我在巴黎的一家咖啡馆第一次遇到了人工智能先驱斯图尔特·罗素（Stuart Russell），他是典型的英国绅士，彬彬有礼。而且，他能言善辩，思维缜密，语调温和，眼中闪烁着富于冒险的光芒。在我眼中，他仿佛就是斐利亚·福克（Phileas Fogg）的现代版本。福克是儒勒·凡尔纳于1873年的小说《八十天环游地球》中的人物，是我童年时代心目中的英雄。虽然罗素是迄今在世的最著名的人工智能研究者之一，也是人工智能领域的标准教科书的作者之一，但他的谦逊和热情很快让我放松下来。他向我解释说，人工智能领域的进展让他相信，与人类智能水平相当的通用人工智能真的有可能在本世纪内变成现实。尽管他充满希望，但他明白，并不是百分之百会产生好的结果。我们必须先回答一些重要的问题，而这些问题又是非常难以回答的，我们应该从现在就开始研究，这样，到我们需要它们时，手边才会有现成的答案。

今天，罗素的想法比较符合主流的观点。全球各地有许多团队正在进行他支持的人工智能安全性（AI-safety）研究。不过，对人工智能安全性的研究并不是历来如此。《华盛顿邮报》一篇文章将2015年视为人工智能安全性研究进入主流视野的元年。在那之前，对人工智能风险的讨论常常被主流人工智能研究者所误解和忽视，而且，他们将进行人工智能安全性研究的人视为企图阻碍人工智能进步并四处散播谣言的“卢德分子”。我们将在第5章继续探讨这个话题。

实际上，与罗素类似的担忧最早是由计算机先驱艾伦·图灵和数学家欧文·古德在半个世纪之前提出来的，古德与图灵在第二次世界大战中一起破译过德国军事的密码。在过去的10年里，关于人工智能安全性的研究主要由一些独立思想家来完成，比如埃利泽·尤德考斯基（Eliezer Yudkowsky）、迈克尔·瓦萨（Michael Vassar）和尼克·波斯特洛姆（Nick Bostrom），不过，他们并不是专业的人工智能研究者。这些人的研究对主流人工智能研究者影响甚微，因为主流研究者总是聚焦于他们的日常工作——如何让人工智能系统变得更智能，而不是思考如果他们成功了会造成什么样的长期后果。我认识的一些人工智能研究者，即便他们心中略有迟疑，也不太愿意表达出来，因为担心自己会被视为危言耸听的技术恐慌者。

我觉得，这种有失偏颇的情况需要被改变，这样，整个人工智能界才能联合起来，一起讨论如何建造对人类有益的人工智能。幸运的是，我并不是孤身一人在作战。2014年春天，我与我妻子梅亚、我的物理学家朋友安东尼·阿吉雷（Anthony Aguirre）、哈佛大学的研究生维多利亚·克拉科芙娜（Viktoriya Krakovna）以及Skype创始人扬·塔里安（Jaan Tallinn）一起，成立了一个非营利性组织“未来生命研究所”（Future of Life Institute，简称FLI）。我们的目标很简单：保证生命在未来继续存在下去，并尽可能的兴旺发达。具体而言，我们认为，技术赋予了生命一种力量，这种力量要么让生命实现空前的兴盛，要么让生命走向自我毁灭，而我们更青睐前一种。

2014年3月15日，未来生命研究所第一次会议在我家举行，我们开启了一场头脑风暴。大约有30人参加，与会者包括来自波士顿地区的学生、教授和其他思想家。会议在这个问题上达成了广泛的共识，那就是，虽然我们也应该关注生物技术、核武器和气候变化，但我们的第一个主要目标是帮助人工智能安全性研究进入主流视野。我在麻省理工学院物理系的同事、因研究夸克而获得诺贝尔奖的弗兰克·韦尔切克（Frank Wilczek）建议我们，可以从撰写专题文章开始，吸引人们对这个问题的注意力，从而让这个问题变得不容忽视。于是，我向罗素（那时候我还没见过他）和我的物理学同行史蒂芬·霍金寻求帮助，他们二人都同意加入我和韦尔切克，作为共同作者，一起写文章。虽然我们的专题文章改写了很多次，但还是被《纽约时报》等众多美国报纸拒绝，因此，我们将其发表在了我们在《赫芬顿邮报》的博客账号上。令我高兴的是，《赫芬顿邮报》联合创始人阿里安娜·赫芬顿（Arianna Huffington）亲自写来邮件说：“看到这篇文章，我太激动了！我们会把它放在头条的位置上。”于是，这篇文章被放在了主页的顶部，并引发了一大波媒体对人工智能安全性研究的报道，这波热潮一直延续到了当年的年底。埃隆·马斯克、比尔·盖茨等科技界领袖纷纷加入讨论。同年秋天，尼克·波斯特洛姆出版了《超级智能》（Superintelligence）一书，再一次点燃了公众的讨论热情。

在未来生命研究所，人工智能有益运动的下一个目标是让世界顶级的人工智能研究者齐聚一堂，澄清误解，铸就共识，并提出富有建设性的计划。我们知道，想要说服一群享誉全球的科学家来参加一个由外行人组织的会议是很难的，尤其是会议的主题还如此富有争议。因此，为了邀请到他们，我们竭尽了全力：禁止媒体参会；将会议时间安排在2015年1月份，地点安排在波多黎各的一个海滨度假村；免去了一切参会费用。我们给这次会议起了一个我们所能想到的最不危言耸听的标题：“人工智能的未来：机遇与挑战”。多亏我们的团队中有斯图尔特·罗素，因为有他的帮助，我们的组织委员会里才得以加入一批来自学术界和产业界的人工智能领袖，包括人工智能企业DeepMind创始人德米斯·哈萨比斯（Demis Hassabis），正是他，在2017年向人们证明了人工智能可以在围棋中打败人类。我对哈萨比斯了解得越多，就越发现他的热情不仅在于让人工智能变得更强大，还在于让人工智能变得有益于人类。

结果，这是一场心灵的非凡碰撞（见图1-3）。人工智能研究者、顶级经济学家、法律学者、科技领袖等思想家齐聚一堂，这些人中包括埃隆·马斯克和提出了“奇点”（Singularity）这个词的科幻作家弗诺·文奇（Vernor Vinge），我们会在第4章聚焦这个话题。

这次会议的结果超过了我们最乐观的预期。或许，是因为有阳光与红酒的相伴，又或许，是因为时机正好。尽管话题很有争议，但我们最后还是达成了一份了不起的共识。我们将共识的详细内容写入了一封公开信，最后有8000多人签名，其中涵盖了名副其实的“人工智能名人谱”。公开信的主旨是，我们应该重新定义人工智能的目标：创造目标有益的智能，而不是漫无目标的智能。公开信还提到了一份研究课题列表。参会者都同意，这些课题能进一步推进上述目标。人工智能有益运动开始逐步进入主流社会。在本书之后的章节中，我们将会介绍该运动的后续进展。

这个会议的另一个重要收获是：人工智能的成功所引发的问题不仅在智识上令人着迷，而且在道德上也非常重要，因为我们的选择可能会影响生命的整个未来。在历史上，人类所做出的选择的伦理意义固然很重要，但却时常受到限制：我们能从最严重的瘟疫中恢复，但最雄伟的帝国最终也会分崩离析。在过去，人们知道，无论什么时候，人类都会面临常年不断的灾害，比如贫穷、疾病和战争，这个事实就像太阳早晨一定会升起一样肯定，因此，我们必须想尽办法解决这些问题。不过，波多黎各会议上的一些发言人称，现今面临的问题可能和以前不一样。他们说，这是历史上头一遭，我们或许能发明出足够强大的科技，可以将那些灾害永久性地清除出去；又或者，它也可能将人类推向末日。我们可能会在地球上甚至地球之外构建出一个空前繁荣的社会，同时也可能会让全世界都处于强大的卡夫卡式的监控之下。

关于人工智能的三大误区

当离开波多黎各时，我坚信关于人工智能未来的对话应该持续下去，因为这是我们这个时代最重要的对话。这场对话关乎我们所有人的未来，不应该只局限于人工智能研究者参与。这就是我写这本书的原因：

我希望你，我亲爱的读者，也能够加入这场对话。你想要什么样的未来？我们应不应该开发致命的自动化武器？你希望职业自动化发展成什么样？你会对今天的孩子提供哪些职场建议？你更希望看到新职业取代旧职业，还是一个不需要工作的社会，在那里，人人都可以享受无尽的闲暇时光和机器创造出来的财富？再进一步，你是否希望我们创造出生命3.0，并把它散播到宇宙各处？我们会控制智能机器，还是仅被它们控制？智能机器会取代我们，与我们共存，还是会与我们融为一体？人工智能时代，作为“人”，究竟意味着什么？你又希望它意味着什么？我们如何才能让未来变成自己想要的样子？

《生命3.0》这本书的目的是帮助你加入这场对话。正如我在前面所说，关于人工智能，存在许多迷人的争议，世界顶级专家们也难以达成共识。不过，我也见过许多无聊的“伪争议”，究其原因就是，有些人只是误解了对方的意思，所以各执一词，互不相让。为了帮助我们聚焦在那些最有趣的争议和开放式的问题之上，而不是在误解上继续纠缠，让我们先来澄清一些最常见的误解。

我们平时经常使用“生命”“智能”和“意识”这类词语，但它们其实存在许多不同的定义。有时候，人们并没有注意到，当他们使用这些词语时，表达的意思却各不相同，所以许多误解由此而生。为了避免你我也掉入这个陷阱，在表1-1中，我列举了在本书中我提到这些词时所表达的意思，作为备忘。其中一些定义，我到后面的章节中才会正式地介绍和解释。请注意，我并不是说我的定义比其他人的更好，我只是想在这里澄清我想表达的意思，以避免被误解。你将看到，我通常会把某个东西的定义下得广一些，让它们不仅可以用在人类身上，也可以用在机器身上，以避免“人类中心主义”的偏见。请你现在看一看这张备忘表。如果你在读后面的章节时，对某些词的定义感到困惑，也希望你回到这张表，再看一看，特别是读到第4～8章时。

除了词汇上面的混淆，我还见过许多与人工智能有关的对话，因为一些简单的误区而走上歧路。下面我来澄清一些最常见的误区。

时间线的误区：通用人工智能什么时候会出现

第一个误区与图1-2中的时间线有关：究竟什么时候，机器才能进化为极大超越人类水平的通用人工智能呢？一个常见的误区是（如图1-5所示），认为这个问题的答案十分确定。

一个流行的错误观点是，超人类水平的通用人工智能一定会在21世纪内实现。实际上，历史上充满了天花乱坠的技术宣言。核聚变发电厂和飞天汽车在哪儿呢？照某些人的承诺，这些东西应该早就实现了。同样地，人工智能在过去也被一次又一次地吹捧上天，始作俑者甚至包括一些人工智能的奠基者，比如，提出了“AI”这个概念的约翰·麦卡锡、马文·明斯基、纳撒尼尔·罗切斯特和克劳德·香农一起写出了下面这段过于乐观的预言，当时，他们打算用“石器时代”的计算机大干两个月，来实现一些目标：

1956年夏天，我们将在达特茅斯学院进行一项由10个人组成的为期两个月的人工智能研究……研究的主题是：如何让机器使用语言、进行抽象思考和形成概念，让它们解决目前只能由人类解决的问题，并自我改善。我们认为，如果仔细甄选一些科学家，组成一个团队，在一起工作一个夏天，就能在一个或多个问题上取得重大进展。

然而，与此相反的另一个流行的错误观点是，超人类水平的通用人工智能在21世纪内一定不会实现。关于我们离实现它还有多远，研究者的评估范围很广泛，但我们并不能信誓旦旦地肯定21世纪内实现它的可能性为零。技术怀疑主义者曾做出过许多令人沮丧的消极预测，后来也被证明不符合事实。欧内斯特·卢瑟福（Ernest Rutherford）可能是他那个年代最伟大的原子核物理学家，他在1933年说，核能就是一派空谈，而不到24小时，美国原子核物理学家利奥·西拉德（Leo Szilard）就创造了核链式反应；1956年，英国皇家天文学家理查德·伍利（Richard Woolley）认为，太空旅行“完全是一派胡言”。这个误区最极端的观点是认为超人类水平的通用人工智能永远不会到来，因为在物理学上不可能实现。然而，物理学家知道，大脑中的夸克和电子组合起来不正像一台超级计算机吗？并且，没有哪个物理定律说我们不能建造出比大脑更智能的夸克团。

有人对人工智能研究者进行了一些调查，请他们预测多少年之后，人类水平的通用人工智能实现的可能性将达到至少50%。所有这些调查的结果都一样：世界顶级专家各执一词，因此我们根本不知道答案。在波多黎各会议上，我们也进行了一次这样的调研，答案的平均数是2055年，但有些研究者认为需要几百年，甚至更久。

还有一个相关的误区是，认为担忧人工智能的人总以为它不出几年就会降临。实际上，有记录显示，大多数担忧超人类水平的通用人工智能的人都认为，它至少还有几十年才会实现。不过，他们认为，只要我们并不是百分之百肯定，它一定不会发生在21世纪内，那么最好尽快开展人工智能安全性研究，防患于未然。我们在本书中会读到，许多安全问题的解决是非常困难的，可能需要几十年的时间才能解决。因此，最好从现在就开始进行研究，才是明智之举，而不是等到某些猛灌红牛的程序员决定开启一个人类水平的通用人工智能的前夜才开始亡羊补牢。

关于争议的误区：“卢德分子”不是唯一的担忧者

第二个常见的误区是，认为唯一对人工智能怀有忧虑并支持人工智能安全性研究的一类人，都是对人工智能一窍不通的“卢德分子”。当斯图尔特·罗素在波多黎各的演讲中提到这件事时，观众笑成一片。还有一个相关的误区是，认为支持人工智能安全性研究会招致极大的争议。实际上，若想适度地支持人工智能安全性研究，人们并不需要确认风险是否很高，只需要相信风险不容忽视就行了，就像人们适度地投资房屋保险，只是因为他们认为火灾的可能性不容忽视罢了。

经过我个人的分析发现，媒体报道夸大了人工智能安全性辩论的争议程度。不过，恐惧能带来经济效益。许多宣告世界末日即将来临的文章都是断章取义，但比起那些更微妙平和的文章来说，它们能获得更高的点击率。结果就是，假如辩论双方只从媒体的引述中获悉对方的观点，通常就会高估他们之间的分歧程度。比如，如果一个技术怀疑主义者只从英国通俗小报那里了解比尔·盖茨的观点，那他很可能会错误地认为，盖茨相信超级智能很快就要来临了。同样地，人工智能有益运动支持者如果只知道吴恩达说了“火星人口过剩”这句话，那他也可能会错误地认为，吴恩达完全不关心人工智能的安全性问题。实际上，我知道吴恩达很关心这个问题，只不过，由于他预估的时间长一点，所以他很自然地将人工智能面临的短期挑战放在比长期挑战更重要的位置上。

关于风险类别的误区：不是被赶尽杀绝，而是失去控制权

当我在《每日邮报》上读到一篇题为“史蒂芬·霍金警告说，机器人的崛起对人类可能造成灾难性的破坏”的头条报道时，我翻了个白眼。我已经数不清这是第几次看到类似的标题了。通常情况下，文章里还会配一张一看就很邪恶的机器人拿着武器的图片，并建议我们应该担忧机器人的崛起，因为它们可能会产生意识并且变得邪恶，然后把我们赶尽杀绝。值得一提的是，这样的文章确实令人印象深刻，因为它们简洁地总结了我的人工智能同行们不会担心的情景。这个情景集合了三个不同的误区，分别是对意识、邪恶和机器人的理解。

当你开车时就会发现，你拥有对颜色、声音等东西的主观体验。但是，一辆无人驾驶汽车是否会拥有主观体验呢？它会不会感觉到作为一辆无人驾驶汽车的感觉？或者，它只是一个没有任何主观体验的无意识“僵尸”？诚然，关于意识的谜题本身是很有趣的，我们将在第8章讨论这个问题，但是，这个问题与人工智能的风险毫无关系。如果你被一辆无人驾驶汽车撞到，它有没有主观意识对你来说没什么两样。同样地，超级智能究竟会如何影响我们人类，只取决于它会做什么，而不取决于它主观上感觉到了什么。

因此，对邪恶机器的恐惧，也没那么重要。我们真正应该担心的不是它们有没有恶意，而是它们的能力有多强。从定义上来说，一个超级智能会非常善于实现自己的目标，不管这个目标是什么，因此，我们需要确保它的目标与我们的相一致。举个例子，你可能并不讨厌蚂蚁，也不会出于恶意踩死蚂蚁，但如果你正在负责一个绿色能源的水电项目，在即将淹没的区域里有一处蚁穴，那么，这些蚂蚁便凶多吉少了。人工智能有益运动的目的就是要避免人类处在这些蚂蚁的境地。

对意识的误解与认为“机器不能拥有目标”这一误区有关。狭义地看，机器显然能拥有目标，因为它们能展现出目标导向行为：热跟踪导弹的行为就是为了实现“击中靶标物”这一目标。如果一台目标与你的目标不一致的机器令你感受到了威胁，那么，狭义地说，令你担忧的正是它的目标，而不是它拥有意识或体验到了意志。如果一枚热跟踪导弹正在向你袭来，你肯定不会大喊：“我一点儿也不担心，因为机器不能拥有目标！”

通俗小报对人工智能危言耸听的“妖魔化”，令罗德尼·布鲁克斯等机器人先驱感到很不公平。在这点上，我很同情他们，因为一些记者确实十分执着于“机器人叛乱”的题材，并且喜欢在文章中配上眼睛血红的邪恶的金属机器人的图片。实际上，人工智能有益运动支持者最担忧的并不是机器人，而是智能本身：尤其是那些目标与我们的目标不一致的智能。这种与我们的目标不一致的智能要引发我们的忧虑，并不需要一个机器人的身体，只需要连接互联网即可。我们将在第4章探讨互联网将如何让人工智能在金融市场上比人类更聪明，获得比人类研究者更高的投资回报率，比人类领袖更善于权谋，并开发出我们无法理解的武器。即使不能建造出实体的机器人，一个超级智能和超级富有的人工智能也能很轻易地收买或操纵大量人类，让他们在不知不觉中执行自己的命令，就像威廉·吉布森（William Gibson）的科幻小说《神经漫游者》（Neuromancer）中所描绘的那样。

对机器人的误解源自“机器不能控制人类”的误区。智能让控制成为可能：人类能控制老虎，并不是因为我们比老虎强壮，而是因为我们比它们聪明。这意味着，如果我们不再是地球上最聪明的存在，那么，我们也有可能会失去控制权。

图1-5总结了这些常见的误区，这样我们就可以一次性地抛弃它们，并把我们与朋友和同行讨论的焦点集中在那些合情合理的争议上。我们接下来将看到，这些争议可一点儿都不少！

前路几何

在本书接下来的篇章里，我们将一起探索有着人工智能相伴的生命的未来。让我们用一种组织有序的方式来探讨这个丰富而又包罗万象的话题。首先，我们将在概念和时间维度上探索生命的完整故事，接着，我们会探索目标和意义，以及要如何采取行动才能创造出我们想要的未来。

在第2章中，我们会探索智能的基础，以及看似愚钝的物质如何组合出能够记忆、计算和学习的形式。随着我们对未来的探讨变得越来越深入，我们的故事将出现许多不同的分支，每个分支则会对应着各不相同的情景。会出现哪种情景，取决于我们如何回答某些关键问题。图1-6总结了我们在人工智能越来越发达的过程中将会遇到的关键问题。

如今，我们面临的问题是：应不应该进行人工智能军备竞赛，以及如何才能让明天的人工智能系统不出故障和保持稳定。如果人工智能的经济影响日益增长，我们还需要考虑如何修改法律，以及我们应该为孩子们提供什么样的就业建议，以免他们选择那些很快会被自动化取代的工作。我们将在第3章中讨论这些短期问题。

如果人工智能发展到人类水平，我们还需要想一想如何保证它对人类有益，以及我们能不能或者应不应该创造出一个不需要工作就能保持繁荣的休闲社会。这也提出了另一个问题：智能爆炸或者缓慢但稳定的增长会不会创造出远超过人类水平的通用人工智能？我们会在第4章对许多这样的情景进行探讨，并在第5章讨论在这之后可能会发生什么事情，范围从可能的乌托邦情景一直延伸到反乌托邦情景。谁会处在统治地位？是人类、人工智能，还是赛博格？人类会得到温和还是残暴的对待？我们是否会被取代？如果被取代，我们会把取代我们的东西视为征服者，还是后裔？我很好奇你会喜欢第5章中的哪一种情景，因此，我建了一个网站（http://AgeOfAi.org），你可以在这里分享自己的看法，参与讨论。

在第6章，我们会穿越到几十亿年后的未来。具有讽刺意味的是，我们在那里会得出一些比前几章更强的结论：因为我们宇宙中的生命的最终极限取决于物理定律，而不取决于智能。

对智能历史的探索终结之后，我们将用本书余下的部分来探讨我们应该朝着什么样的未来前进，以及如何实现它。为了将冷冰冰的事实与意志和意义联系起来，我们将在第7章和第8章分别探讨目标和意识的物理基础。最后，在尾声部分，我们将讨论当下应该做些什么，才能创造出我们想要的未来。

如果你读书时喜欢跳过一些章节，那么你需要知道的是，只要你理解了第1章和下一章开头部分给出的名词解释及定义，后面的大部分章节都是相对独立的。如果你是一个人工智能研究者，你完全可以跳过第2章，除了最开始对智能进行定义的部分。如果你是最近才燃起对人工智能的兴趣，那第2章和第3章会让你明白，为什么第4～6章的内容不容忽视，更不能被视为不可能发生的科幻故事。图1-7列举了每一章的推测程度的高低。

一段精彩的旅程正在等待着我们，让我们出发吧！

本章要点

○生命的定义是，一个能保持自身复杂性，并进行复制的过程。生命的发展会经历三个阶段：硬件和软件都来自进化的生物阶段，即生命1.0；能够通过学习自己设计软件的文化阶段，即生命2.0；自己设计硬件和软件，并主宰自我命运的科技阶段，即生命3.0。

○人工智能或许能让我们在21世纪内进入生命3.0阶段。我们应该朝着什么样的未来前进，以及如何才能实现这个未来？这个问题引发了一场精彩的对话。这场辩论中有三个主要的阵营：技术怀疑主义者、数字乌托邦主义者和人工智能有益运动支持者。

○技术怀疑主义者认为，建造超人类水平的通用人工智能相当困难，没有几百年的时间根本无法实现。因此，现在就开始担心这个问题和生命3.0是杞人忧天。

○数字乌托邦主义者认为，21世纪就有可能实现生命3.0。并且，他们全心全意地欢迎生命3.0的到来，把它视为宇宙进化自然而然、令人期待的下一步。

○人工智能有益运动支持者也认为，生命3.0有可能会在21世纪内实现，不过他们不认为它一定会带来好结果。他们认为，若想保证好的结果，就必须进行艰苦的人工智能安全性研究。

○除了这些连世界顶级专家都无法达成共识的合理争议，还有一些无聊的“伪争议”，是由误解所导致的。比如，如果你不能保证和自己的辩论对手在谈及“生命”“智能”“意识”这些词时，表达的意思是相同的，那么千万不要浪费时间争论这些话题。本书对这些词的定义参见表1-1。

○请一定注意图1-5中的误区：超级智能到2100年必将实现或不可能实现。只有“卢德分子”才会担心人工智能；我们应该担忧人工智能变得邪恶或拥有意识，而这一定会在几年内发生；机器人是最大的威胁；人工智能不可能控制人类，也不可能拥有目标。

○在第2～6章，我们将探索关于智能的故事，从几十亿年前卑微的开端，一直到几十亿年后在宇宙范围内的可能未来。首先，我们将探讨一些短期的挑战，比如就业、人工智能武器和对人类水平的通用人工智能的开发；接着，我们将讨论关于智能机器和人类未来的一系列迷人的可能性。我很想知道你青睐哪一种未来！

○在第7章和第8章，我们将不再描述冷冰冰的事实，而是转而探索关于目标、意识和意义的话题，并讨论我们现在可以做些什么来实现我们想要的未来。

○我认为，有人工智能相伴的生命未来是我们这个时代最重要的对话。请加入这场对话吧！