为什么数据会说谎
上QQ阅读APP看书,第一时间看更新

前言

人是万物的度量者。

——赫伯特·阿瑟·克莱因(Herbert Arthur Klein)

在这个星球上,有一个物种几乎主宰了它所接触的每一个生态系统。从干旱的沙漠到茂密的雨林,从高山到低谷,它无处不在,无处不被它征服,几乎没有什么地方找不到它。它学会了种植和收获植物,驯化其他动物来满足自己的需求,创造错综复杂、用途明确的建筑和栖息地,建立分工协作、阶级分明的复杂社会,甚至还会发动战争,奴役同类。

毫无疑问,我说的是蚂蚁。

如果说蚂蚁仅仅是一个成功的物种,那就太轻描淡写了。它们不仅在地球上几乎所有的生态系统和气候中繁殖,而且数量庞大。几乎在任何生态系统中,如果你清点所有现存的动物,你都会发现,数量最多的很可能是蚂蚁。在某些环境中,蚂蚁不仅是数量最多的动物,而且总体重也超过了其他动物。

蚂蚁的成功可以归于它们与其他大多数昆虫的不同之处:蚂蚁是社会性的昆虫,它们一起工作。通过精细的分工以及复杂的沟通和适应方法,蚂蚁找到了一种与其他几个物种类似的合作方式,人类便是这寥寥可数的几个物种之一。

蚂蚁之所以能很好地合作,是因为它们会交流。蚂蚁使用错综复杂的信号网络来识别食物来源和潜在的敌人,提供日常维护并照顾蚁群,以及完成其他一系列任务。然后,这些信号被用来为上述任务分配相应的资源,进而确保蚁群的存续。没有任何一只蚂蚁能理解它们所处的系统,连蚁后也不能,它们只是盲目地遵循接收到的信号。然而,这种互动是有目的、有策略的。这就产生了一个非同寻常的悖论:虽然单只蚂蚁很愚蠢,但蚁群很聪明。我们可以通过观察蚂蚁如何处理一项简单的任务——寻找食物——来了解这个系统。

在澳大利亚东北部的热带雨林中,有一种学名叫Onycho myrmex的行军蚁,专门捕食蜈蚣和其他大型节肢动物。当这种行军蚁寻找食物时,它们每行进几英尺[1]就会向后伸展一下后腿,将腹部紧贴地面,分泌出一种信息素。[2]这些信息素向其他蚂蚁发出信号,让它们跟随。

用蚁学家(研究蚂蚁的科学家)的话讲,这种行军蚁的分泌物叫作征召信息素。征召信息素向其他蚂蚁发出信号,让它们跟随信号前进,前往一处食物来源、一处新的巢穴位置或一个需要攻击的潜在威胁。

当这个系统在群体的规模上发挥作用时,其效果非常显著。每天早晨都有无数“侦察员”离开巢穴寻找食物。它们一旦找到食物,就会返回巢穴,并在途中一路分泌征召信息素。返回巢穴后,它们“征召”其他蚂蚁跟随它们前往食物来源:食物可能是一颗掉落的果实、一根多叶的树枝,如果它们是擅长集体狩猎的行军蚁,那么也可能是一条蜈蚣。这种简单的化学检测系统让蚂蚁的效率达到了惊人的水平,虽然这种效率是不动脑筋的。这种不动脑筋的效率足以让蚁群在世界各地蓬勃发展。然而,当它失效时,灾难性的后果就会发生。

当行军蚁离开蚁群去往已经找到的食物来源时,它们会成群结队,彼此紧紧跟随。这个团体必须团结一致。有时它们会沿着前面蚂蚁留下的征召信息素的踪迹前进,有时它们会利用触角来定位并跟随前面的蚂蚁。在这种情况下,征召信息素的踪迹并不是一条通往食物的道路,而仅仅是一条指令:“嘿,跟我来。”

有一种很罕见的情况是,蚂蚁无意中沿着踪迹返回了原处,领头的蚂蚁开始尾随殿后的蚂蚁。随着每只蚂蚁都留下征召信息素,这条路径不断加强。蚂蚁循着这条踪迹绕成一个大圈,没完没了地走下去。但这趟旅程不会以攻击一条蜈蚣或收获一块腐烂的水果而结束,而是会无限循环下去,来到最终的毁灭性结局:每只蚂蚁都因精疲力竭而死亡。这一现象在自然界中已经被观察到无数次,并在实验室中重现。蚁学家称之为“蚂蚁磨盘”,我更愿意称之为“蚂蚁死亡旋涡”。

一些蚁学家在野外偶然发现了成圈死去的蚂蚁,这些可怕的“墓碑”证实了它们盲目依赖信号而造成的灾难。这就是让蚁群变得如此成功的适应性所导致的悲剧后果。对蚂蚁而言,死亡旋涡是不幸却又不可避免的,也是它们作为地球上最成功的昆虫物种要付出的代价。

像蚂蚁一样,人类通过信号,通过先观察再行动来理解我们的世界。我们衡量我们所做的几乎一切,例如工作表现,医疗质量,体育比赛中的竞争力,市场优势,产品的有效性,经济实力,教育质量,道路拥堵情况,企业的利润、收入和增长。

我们的孩子在学校里学习了吗?对他们进行测试。我们的工作效率高吗?统计我们的工作时间。付给职业运动员的工资值不值得?记录他们的每一个动作,并将其转化为数据。一家企业是否成功?对它的利润、收入、增长等数据进行细分,直到你确定为止。

这些措施、评价和业绩指标就是我们的衡量指标。它们不仅是我们用来量化了解自己生活的工具,也是量化了解世界的工具。我们在学校、工作场所、政府机构和家庭中使用衡量指标。我们使用衡量指标来衡量工作效率,衡量孩子在学校的学习情况。衡量指标帮助我们衡量经济规模、医疗保健系统的有效性,以及城市拥堵产生的影响。

衡量指标有助于我们决定哪些事情值得重视且优先于其他事情。衡量指标塑造了我们对世界的理解。我们花费大量时间和资源来选择、搜集和分析构成这些衡量指标的数据。几乎没有什么是我们不去测量的。

这里我们要做一个重要的区分。在这本书中,我们将谈到很多关于衡量指标(metrics)的内容,但我们还会提到测量(measurement)。二者有何不同?简单来说,测量针对的是任何可以量化的东西。猎豹的奔跑速度、帝国大厦的高度、美国每年消费奶酪比萨的数量,这些都是测量,很简单。

衡量指标的不同之处在于,它是一种对测量进行赋值的测量。衡量指标可以告诉我们,情况是在改善还是在恶化。衡量指标是有目标的。考试得A比得D好,公司利润增长是好事。衡量指标是心中有目标的测量。虽然测量和衡量指标之间存在差异,但我们很少在测量某个事物时不给它指定目标。正如哈佛商学院教授扬米·穆恩(Youngme Moon)所言:“当我们选择测量某个事物的那一刻,我们实际上就是选择去追求它。换言之,衡量指标创建了一个指向某个方向的指针。”[3]

我们被淹没在数据之中。数字革命在世界上掀起了一股数据浪潮,只要接入互联网,任何人都可以毫不费力地获得各种信息。我们不再受限于单调乏味的实体记录和分类账,我们拥有的数据多到我们不知该如何处理。计算机不仅成倍地提高了我们的计算能力,还提高了我们搜集、存储和共享信息的能力。互联网扩大了信息量,并从根本上提高了信息交换的便捷性。政府、企业、组织和个人正在搜集和利用这些新信息来制定政策、开发更好的产品和营销策略、提高生产力、解决社会问题,以及满足个人利益。

数据的爆炸式增长导致我们对衡量指标的使用激增。有了更多的信息,我们就可以跟踪更多的措施,实现更多的目标,进行更多的评估。毫无疑问,在数据领域发生的革命给我们的世界带来了无数益处。更好的数据意味着更好的决策。更多更好的信息意味着我们的医疗系统能拯救更多的生命,企业能提供更好的产品和服务,人们对自己的健康、财富和幸福能做出更好的选择。

数据的改进正在强化19世纪以来一直在发展的一种趋势:绩效管理。绩效管理的思想很简单:要想改进任何一个系统或流程,你只需要把系统拆分成可管理、可测量的组成部分,并为这些测量建立标准,然后为这些系统中的人员创建激励措施,让他们达到这些衡量指标。随着可供我们分析的数据的增加,这一策略的诱惑力会变得越来越大。数据分析、计算和信息存储的改进加速了这一趋势。公司、组织和政府获得的信息越多,可以优化的措施就越多,可以跟踪的任务、活动和目标也越多。

你如果想改善一家零售企业,那就把它拆分成几个组成部分:供应链管理、销售、会计等。你可以为供应链负责人提供交货时间、库存、运输时间等方面的标准,为销售人员提供销售额目标和指标,对市场营销、研发、会计以及企业的其他组成部分也如法炮制。从公立学校系统、跨国公司、医疗保健系统、运动队、社交媒体战略、小公司、城市、供应链到我们的环境,几乎每个组织都是绩效管理的目标。数据和衡量指标的使用已经渗透到我们生活的几乎每个部分。

然而,数字革命创造了一种信息狂妄。聚光灯越集中在这个世界可测量的部分上,我们就越相信我们无法测量的部分不再存在。有了新信息,我们就忘记了所有我们不知道或难以知道的事情。我们太过专注于那些在灯光下看到的事物,以至于忘记了成功的关键可能在黑暗中。企业如果发现了有关其供应链、生产过程和市场运输的大量新信息,就不应该忽视市场适销性、创新、员工激励,以及市场中未知和不可预测的变化等更难获得的信息。

信息如此丰富也有不利的一面。就像蚂蚁会被平时可以引导它们找到食物的信息素引入歧途一样,我们也会被我们认为对自己有帮助的衡量指标引入歧途。我们不仅要对我们所消费信息的真实性和完整性持批判态度(关于这个话题有很多好书可以读),还必须理解数据的含义,为什么它们很重要,以及它们如何影响我们的行为。

专门研究数据科学的书籍、文章和其他资源有许多。你只需要在亚马逊或谷歌上搜索统计学、分析学或精算学,就会看到成千上万的资源,它们会告诉你关于统计意义、数据分析、风险评估和分析信息的一切。但这不是这本书的主题。本书讲述的是一个完全不同的问题。本书想要回答的问题并不是“我们如何分析或评估不同的数据”,而是“我们衡量的东西如何影响我们的行为和行为方式”“我们衡量事物的方式如何改变我们思考和行动的方式,如何改变我们的价值观,以及最终的成就”,而这也正是其他数据科学书籍忽略的问题。

本书讲述了如何使用正确的衡量指标:这些衡量指标应用于我们生活的方方面面,让我们的生活变得更美好。但更重要的是,本书讲述了使用错误衡量指标的陷阱,以及误解衡量指标所带来的危害。因为衡量指标也有不好的一面,误用、误解和曲解衡量指标会导致事与愿违、徒劳无功,有时甚至导致彻头彻尾的破坏性行为。我们用来理解、评估和分析我们世界的那些工具,也会影响我们的判断,误导我们的注意力,或者蒙蔽真相。

戴维·曼海姆(David Manheim)认为,我们使用衡量指标的主要原因有三点。[4]第一,是为了了解真相。我们的直觉虽然有时有用,但经常是错误的。通过测量,我们可以确定到底发生了什么事情。如果一个销售人员说他的工作很出色,我们可能有充分的理由相信他,也许他很善于与客户打交道,也很了解他的产品。但如果不看他的实际销售数据,我们就不知道他到底有多么优秀。

我们测量的大多数东西都是如此。中国的经济规模是否超过了德国?费城的犯罪率是多少?一家医院一年治疗多少个病人?这些都是我们大多数人不太清楚的事情。通过测量它们,我们将比依靠直觉更接近真相。衡量指标为我们提供了确定性。当我们测量某件事时,我们是在用事实取代我们的直觉。即使一点点信息,也会让我们更接近真相,更远离不确定性。

第二,测量有助于我们简化复杂的系统。CEO(首席执行官)不可能知道,也不想知道公司每个部门、每位经理和每名员工在做什么。政府官员不可能监测他们为每个公民提供的每一项服务。医院不可能监督它雇用的每一位护士、医生、专家和行政人员的每一个行动。一个城市无法了解每个通勤者、每家企业和每辆垃圾车的行动。衡量指标可以帮助我们以清晰且有意义的方式简化这些复杂的系统,从而为我们提供简单性。

第三,测量解决了信任问题。如果你问员工、经理、政府管理人员或运动员,他们是否比同龄人更优秀,大多数人会回答“是”。但你怎么知道呢?如果一名员工说自己正在努力工作,为公司做出贡献,你怎么知道事实的确如此呢?如果一家公司说它在行业中拥有最高的销售额或最高的营收,你能相信它的话吗?衡量指标可以帮助我们解决这些信任问题。衡量指标创建了独立的标准,可以用来验证一切说法,而不依赖于任何人说的话。衡量指标为我们提供了验证方式。

我想补充第四点,这在一定程度上与确定性和信任问题有关:衡量指标让我们变得客观。在许多系统中,关于什么是有价值的、什么是重要的,存在着许多不同的观点。谁是更好的警察?哪位运动员的比赛成绩更好?哪位经理的团队表现更好?答案会因你与谁交谈,以及此人认为哪些方面的表现更有价值而不同。如果我们仅仅依靠个人观点来判断好坏,那么我们将永远无法解决这类问题。

衡量指标提供了一个客观、冷静且一致的标准,我们可以用这个标准比较和评估业绩。衡量指标能够让我们摆脱关于“什么是重要的,以及为什么重要”这个问题混乱的、有时各执一词的和情绪化的讨论。衡量指标可以跳过对话,提供一个适用于所有人的清晰一致的标准。衡量指标为我们提供了客观性。

大多数衡量指标最终都用于类似的目的:改进我们所做的事情。我们的学校组织考试,目的是提高学习水平。我们衡量我们在工作中所做的事情,目的是提高我们的生产率和公司的净利润率。我们衡量公司业绩是为了进行更好的投资。我们衡量哪些产品更环保,目的是保护地球。在一个理想的世界里,我们选择最好的衡量指标,并遵循它们建议的成功之路。

然而,就像信息素踪迹一样,这些衡量指标也可能让我们误入歧途。这些衡量指标的目的都有缺点。在本书中,我们会发现,这些目的中的每一个都可能误导、误解和歪曲实际发生的事情,并破坏衡量指标的初衷。衡量指标可能导致我们采取适得其反的行动,它们会将我们的注意力吸引到最终并不重要的事情上。由于选择了错误的衡量指标,我们在无效的活动上花费了过多的时间和资源。衡量指标可能扭曲我们对世界的看法。我们甚至可能成为衡量指标的奴隶,就像陷入死亡旋涡的蚂蚁一样,我们过于关注自己在测量中的得分,而忘记了自己真正要实现的目标。

但我们不是蚂蚁。我们不必盲目地遵循衡量指标规划的路线。我们有能力从道路上抬起头来,重新评估目的地。我们可以停下来想一想,弄清楚我们是真的越来越接近目标,还是在原地打转。我们可以选择我们应该遵循哪些衡量指标,甚至是否应该遵循衡量指标。

我的职业是城市规划师,关于城市如何运行的研究和实践中充满了各种各样的衡量指标。在我的求学和职业生涯中,我遇到过很多在城市规划中误解和滥用衡量指标的例子,同时也遇到了一些正面的例子。例如,我们衡量交通拥堵和住房负担能力的方法都是存在严重缺陷的,我们将在本书后面的内容看到。然而,一旦我开始理解这些衡量指标的缺陷,我就开始注意到,在测量方面,城市规划领域并不是唯一存在缺陷的。我开始注意在其他领域中存在缺陷的衡量指标:教育、医疗保健、商业、经济、环境和体育等。

当我研究其他衡量指标,或与其他领域的专业人士交谈时,我开始发现,人们注意到的缺陷有相似之处。对城市规划领域衡量指标的错误理解,与对产品环保程度的错误理解类似。医生在评估诊所时注意到的错误也类似于商界出现的错误。一种评价篮球运动员的更好的方法与可口可乐公司决定开始使用塑料瓶有关。各种错误反复出现,而且跨越不同的主题。在本书中,我尝试对衡量指标中最常见的错误进行分类、描述,并提供解决方案。

衡量指标可能会在很多方面误导我们。误解人们对衡量指标的反应;关注我们投入的东西,而不是我们得到的东西;优先考虑短期收益,而不是长期收益;误用分母;只抓住整体的一部分;不限定我们的测量方法,只关注可以测量的东西;或者干脆认识不到我们无法总是去测量真正重要的东西。这些都是衡量指标可能让我们误入歧途的方式。

幸运的是,我们可以从这些错误中吸取教训。我们可以了解到,向导并不总是正确的。我们可以学会在旅途中选择更好的地图,或者减少对那些我们知道并不完美的地图的依赖。我们可以学会识别衡量指标如何以及为什么会误导我们,这样我们就不会落入它们为我们设置的陷阱。我们可以通过效仿他人树立的榜样,学会改进我们生活中使用的衡量指标。最后,我们可以停止不断地测量自己,学会关注那些我们无法测量但对我们来说最重要的事情。我们将在本书的各个章节中逐一研究这些错误,看看每个错误的例子,并了解如何识别和解决每个错误,总结经验和教训。

从第一章《应试教育:古德哈特定律与衡量指标悖论》开始,本书深入探讨了学校标准化考试的世界,并展示了狂热地致力于一项测量可能会导致无效的、不必要的,有时甚至令人难以置信的破坏性行为。该章展示了片面地强调、衡量学生成绩如何使教育质量恶化,迫使教师简化教材,鼓励死记硬背而不是让学生真正地理解,惩罚深入思考的学生,甚至促使教师作假。更重要的是,这一章证明了这种现象不仅限于课堂。无论是在商业、医疗、经济、体育中,还是在我们追求的其他任何事业中,完全集中地追求任何一种衡量指标都可能导致不合常理的结果。这一章表明,应试教育不仅仅是学校的问题,任何衡量指标都能以激进且往往矛盾的方式改变我们的行为。

第二章《投入和产出:逻辑模型与程序评估》解释了错误地测量投入、产出和结果如何导致事与愿违。这一章讲述了几个女性的故事,她们用自己的方式发现了一个人在一项任务中投入的成本、付出的努力和最终取得的成果之间的区别。该章介绍了玛格丽特·奥弗里希特(Margaret Aufricht)医生,她认为医疗保健系统鼓励医生看更多的病人,而不是专注于改善病人的健康状况;希瑟·怀特(Heather White)认为非营利组织更注重强调他们的努力,而不是他们产生的影响;凯丽·雷斯勒(Cali Ressler)和朱迪·汤姆森(Jody Thompson)在百思买公司(Best Buy)工作期间发现,商界衡量员工的标准是他们的工作时长,而不是他们实际取得的成果。通过所有这些故事,该章展示了专注于努力的衡量指标是如何使人误入歧途的,它偏离了提高成就这一真正目标。

第三章《长期主义和短期主义:跨期问题和被低估的时间》研究了衡量指标如何扭曲长期和短期的优先级。通过企业高管薪酬和学术界科研绩效的例子,该章展示了衡量指标如何导致我们高估短期价值,而牺牲长期价值。建立在量化确定性基础上的衡量指标无法很好地处理不确定的未来,并且高估了短期价值。

第四章《分母错误:“每”的问题》论述了我们在测量中忽视、误用甚至过度使用分母(或者“每”)的倾向。该章通过使用正确的分母来说明,尽管纽约是美国行人死亡总人数最多的城市,但对行人来说,纽约实际上是一个比大多数美国城市更安全的地方。该章还讨论了使用错误的分母如何使致命的疾病看起来不值得恐惧,以及操纵分母如何使能耗最高的国家之一看起来能耗最低。

第五章《只见树木,不见森林:简化复杂系统》讨论了只测量一个复杂整体中的一小部分可能带来的危险。这一章展示了测量复杂系统中的一小部分,会如何让我们相信花更少的钱买离工作地点更远的房子更划算(事实并非如此),吃离家更远的食物比吃离家更近的食物消耗更多的能量(事实并非如此),另外还解释了为什么塑料瓶比玻璃瓶更环保,为什么节能灯会增加碳排放,以及为什么得分最多的运动员不一定是队里最好的运动员。

第六章《天差地别的事物:忽略不同的品质》讨论了将不同的事情归纳到单一的测量中会如何欺骗我们。例如,它说明了在战争中寡不敌众并不意味着处于劣势,用疾病造成死亡的人数来衡量疾病遗漏了很大一部分情况(以及为什么癌症发病率增长实际上是一件好事),还有把信息放在地图上如何经常导致对正在发生的事情的误解。

第七章《并非所有计算得清楚的东西都重要》探讨了迷恋测量导致严重后果的例子。在许多组织中,测量本身变成了目的,组织的真正目的却迷失在数字游戏中。这一章展示了,许多领导者最终选择关注数字,不是因为他们专注于细节,而是因为他们无力处理或不愿处理可量化的东西之外的混乱世界。该章探讨了组织堕入数字游戏并造成可怕后果的两个例子:20世纪90年代和21世纪初的纽约警察局,以及越南战争期间的美国驻越南军队。

第八章《并非所有重要的东西都计算得清楚》通过批判性地审视衡量指标背后的根本驱动力,找到了问题的根源。这一章首先审视了这样一个观点:衡量指标推动了变革,激励了人们。泰勒主义、绩效管理、科学管理、关键绩效指标等基础理论,以及当前大多数流行的组织理论都建立在同一个假设之上:如果你衡量员工表现并提供激励,你就会得到结果。该章利用商业、激励机制理论和组织心理学中的例子,论述了当衡量指标和激励措施使用不当时,会如何挫伤人们的积极性,适得其反。

这一章接下来研究了当今最常用也最经常受到批评的一个指标:GDP(国内生产总值)。该章通过研究对GDP的批评得出结论:衡量指标的缺陷从不在于衡量指标本身,而在于人们使用它们的方式。就像GDP一样,许多衡量指标的使用方式使它们从来没有达到最初的目的。更重要的是,我们可以从GDP的创造者那里学到一个教训,这个教训适用于我们处理的每一个衡量指标:我们可以测量某件事,并不意味着它很重要。

第九章《对衡量指标的反思》重新审视了我们使用衡量指标的原因。该章反思了驱使我们使用衡量指标的复杂性、客观性、确定性和信任等问题,以及这些动机如何以自己的方式破坏了我们想要达到的目的。该章探讨了我们对简单、客观、确定和信任的渴望如何将衡量指标从一个有用的工具扭曲成一个可怕的怪物。该章的后半部分列出了14条关于衡量指标的教训,读者在处理衡量指标时可以参考借鉴。

最后一章《衡量指标不是我们的主宰》介绍了一个组织——可汗学院,探讨了可汗学院如何重新思考衡量指标,并有效地将其颠覆。这一章讲述了萨尔曼·可汗(Salman Khan)如何通过重新审视一个简单的想法——为什么我们要在学校对学生进行考试——发展出一种全新的教育方法。该章通过可汗学院的经验与教训总结出了更广泛的经验,告诉我们在生活中如何以及为什么要使用衡量指标,并提醒我们,衡量指标不是我们的主宰。

这不是一本关于统计、分析或数学的书(可以理解,许多读者可能会松一口气)。这本书不涉及统计有效性,也不涉及数字的代表性。这本书没有深入研究回归分析、概率或其他类似统计工具背后的数学。关于这些主题有很多好书,比如,纳特·西尔弗(Nate Silver)的《信号与噪声》(The Signal and the Noise)探讨了预测和概率背后的科学;查尔斯·惠伦(Charles Wheelan)的《赤裸裸的统计学》(Naked Statistics)提供了很好的统计学总体概述;丹尼尔·卡尼曼(Daniel Kahneman)的《思考,快与慢》(Thinking Fast and Slow)深入探讨了我们对概率的理解背后的心理学等;丹尼尔·列维汀(Daniel Levitin)的《一眼识破真相的思考力》(A Field Guide to Lies)解释了统计学和其他技术如何被用来误导人们。

除了简单的乘除法之外,本书完全不讨论数学。本书也不讨论我们测量的东西有多么精确,不讨论数据搜集方法、统计相关性,以及数据的偏差。

我不是说上述这些东西不重要,相反,它们绝对是重要的,我的意思是,本书研究的是传统统计学和数据科学大多没有做到的事情。传统统计学大多关注的是我们测量分析的数据是否真实准确。本书关注的完全是另一个问题:被分析的数据是否重要,它们是不是正确的测量对象。即使一项测量完全真实准确,也不意味着它能正确地描绘出你想要测量的东西的全貌,也不意味着测量方法不会把付出的努力与取得的结果混为一谈,或是把强度与大小混为一谈。精确的测量不等于好的测量。这一点常常被人遗忘。

这本书试图回答一个简单的问题:我们测量的是正确的东西吗?换言之,就像威廉·布鲁斯·卡梅伦说的:我们计算得清楚的东西都重要吗?

[1] 1英尺=0.304 8米。——编者注

[2] Bert Hölldobler and E. O. Wilson, The Super-Organism: The Beauty, Elegance and Strangeness of Insect Societies, (New York: W. W.Norton, 2009), 183—87.

[3] Peter Minimum. “Digital Advertising's Perverse Incentives.”Marketingland (April 21, 2017). https://marketingland.com/digital advertisings-perverse-incentives-212180.

[4] David Manheim. “Goodhart's Law and Why Measurement Is Hard.”Ribbon-Farm (June 9, 2016), https://www.ribbonfarm.com/2016/06/09/goodharts-law-and-why-measurement-is-hard/.