第1章 初识数据产品经理

1.1 为什么要有数据产品经理

1.1.1 大数据行业现状

人人都在说大数据，那么“大数据”这个词是从哪里来的呢？据资料记载，大数据一词最早出现在1983年著名未来学家托夫勒在其所著的《第三次浪潮》中，该书提出“如果IBM的主机拉开了信息化革命的大幕，那么‘大数据’才是第三次浪潮的华彩乐章”。随着计算机和存储地不断发展，直到2009年“大数据”才成为信息技术行业中的热门词汇，逐渐被人们所知。

大数据时代的到来，首先，离不开不断发展的计算机存储能力和完美的计算能力。其次，随着移动互联网、物联网的发展和智能手机的普及，每天无时无刻不在产生海量的数据，有了一定的数据量。就这样，海量数据与计算能力相结合，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题，于是，就迎来了我们身处的大数据时代，它让我们充分地认识到了数据的价值与意义。

在网络还没有普及的时候，很多数据都是离线存储在本地的，并不会作为公开数据或者资源存放在互联网上，例如音乐、照片、视频、文件、个人的一些记录等。但是现在，我们几乎每天都会使用互联网或者移动互联网上的网站或者应用，会产生大量的用户数据和行为数据，海量的数据里面蕴含了巨大的商业价值，这也正是大数据的价值所在。

随着移动互联网和智能硬件的发展，我们的数据会以各种各样的方式被存储记录下来，下面是生活中我们经常会接触的一些场景。

（1）手机等设备上的各种应用收集了用户各种各样的行为数据，用户每天产生大量的访问数据，这些数据被某些公司所有，形成大量的用户行为数据。企业利用用户每天操作各种App的数据，可以分析或者优化产品。

（2）随着电子地图以及导航应用（如高德地图、百度地图）的发展，我们的交通出行越来越方便，同时产生了大量的出行数据，它代表的更多的是用户的出行方式和出行行为，这些数据经过分析和结合具体的业务场景将会产生巨大的商业价值。

（3）在进入社交网络的时代后，微信、微博、抖音这些应用就从来不会离开我们的视野，甚至占据了用户大量的时间。掌握这些数据，我们就可以轻易地了解用户的社交属性信息，引导更多的人参与其中，创造越来越多的数据，通过分析这些数据可以了解人们的社交关系网和生活、社交习惯，能够掌握一个人的日常情况。

（4）淘宝、京东、美团等电商的崛起，带来了大量的网上交易数据，包含支付数据、搜索行为、物流运输、购买喜好、点击顺序、评价数据等。通过分析这些数据，我们可以掌握用户的购物习惯和消费情况。

（5）随着百度等搜索引擎和知识问答社区的流行，用户的主动搜索点击行为和提问也汇集了大量的数据。通过这些数据，我们可以了解到用户关心的问题和日常生活中遇到的各种问题。

什么是大数据呢？大数据是如何定义的呢？其实目前并没有一个统一、准确、唯一的定义，不同公司、不同用户、不同产品的角度不同，对大数据的理解也不一样，每个人对大数据的理解也不尽相同。但可以确定的是，我们所指的大数据与过去传统的数据截然不同，其产生方式、存储载体、访问方式、表现形式、来源特点等都与传统数据有很大的差别。很多互联网公司使用的都是其产品和服务的用户群体的行为数据，这些数据是全面的、准确的，并且可以挖掘出巨大的数据价值。随着大数据的发展，大数据展现了4V特性，即体量巨大（Volume）、处理速度快（Velocity）、类型多种多样（Variety）、价值大（Value），如图1-1所示。

由于篇幅有限，对大数据4V特性就不做具体介绍了，读者可以查找相关资料进一步了解。

下面我们了解一下大数据在国内外的发展现状。首先，大数据在国外已经得到各国政府的高度重视，各国政府分别针对大数据制定了各种政策进行支持与保障，促进其发展，大数据已经在企业里得到了广泛的应用和发展。

美国政府为了大力推动大数据的应用与发展，计划把包括健康、能源、气候、教育、金融、公共安全等领域的数据和信息公开，让企业和个人都能够获取这些数据，希望能够从中挖掘更多的价值和应用场景，为经济和企业发展贡献力量。随着美国不断扩大数据的公开范围和受用对象的范围，越来越多的企业和个人能够接触到更大范围的数据，对于数据的共享和企业的创新都有很大的作用。2016年5月，美国政府公布了《联邦大数据研发战略计划》，用来加速发展大数据行业与经济增长，并针对大数据研发方面的规划提出了7条战略计划，加强了获取数据、分析数据、应用数据的技术处理速度。针对近些年的美国总统选举，大数据在预测方面的效果已经引起越来越多的人的关注，大数据的应用也已经在各行各业取得了一定的突破与发展。

英国为了促进大数据的发展，以数据共享为基础，不断提升技术能力，助力大数据平台建设。其中，英国政府投资了1.13亿英镑新建哈璀（Hartree）大数据中心，投资了4200万英镑建立了艾伦图灵研究所，开展大数据科学与技术的研究。为了在战略上对大数据进行指导，英国成立了大数据战略委员会，向社会发布了《开放数据战略白皮书》，向社会开放了获取政府数据的渠道，保证大数据创造更大的价值。

同时，瑞典已经从2017年开始，计划投资2.5亿瑞士法郎，启动为期4年的大数据专项（Big Data，NFP75）作为国家重点的科研计划，该专项主要包括大数据基础技术研究、社会法律问题以及大数据应用等。其中，大数据基础技术研究主要包括大数据存储技术、大数据架构、大数据计算等技术和设施的投入。社会法律问题包括个人数据的安全、社会伦理问题以及法律安全风险等。大数据应用主要包含在各个领域的应用，以及如何挖掘更大的数据价值，以数据驱动社会发展与进步。

与此同时，我国政府也积极地推进大数据的发展，为大数据的发展营造良好的环境。2014年，大数据被首次写进国家的《政府工作报告》中。

随着大数据的蓬勃发展，数据安全也被提高到了前所未有的高度，但是现在多数企业对数据的管理能力不足，导致数据安全得不到应有的重视。2018年，Facebook超过5000万条数据被泄露，类似安全事件的发生给国家安全敲响了警钟。目前，我国已经出台了《中华人民共和国网络安全法》，在《中华人民共和国网络安全法》的基础上，明确了数据管理与保护的各种规章制度，提出数据在收集、处理、使用等各个环节的建议及要求。同时，还应该建立针对大数据分类、分级的安全保护机制，结合每个行业自身的数据特点，决定哪一级数据需要脱敏，哪一级数据涉密，哪些数据可以公开，确保对数据资产做好分级、分类，企业要针对数据建立适合自身的安全保护策略。最后，应该为广大网民进行数据安全及个人隐私方面的培训，加强网络安全教育，提升网络安全意识，推动全社会形成重视数据安全的良好氛围。

纵观国内外，大数据已经得到蓬勃发展，形成了一定的产业规模，并上升到国家战略层面，大数据技术和应用也得到了突飞猛进的发展。大数据基础设施、大数据计算架构以及大数据的云计算等技术不断更新迭代，大数据新模式、新业务也取得了实质性发展，传统企业已经开始以大数据为驱动力，助力产业转型升级。人工智能、深度学习、工业物联网、智能硬件、虚拟现实、智慧城市等领域的发展，推动了大数据的应用与普及。新兴行业、传统行业围绕数据服务体系，已经形成了传统行业数据平台、互联网数据平台及物联网数据平台等各个大数据平台，如联想的工业大数据平台。其中，也发展了一批大数据公司，为企业提供数据服务。随着市场规模不断壮大，一些大数据产品为中小企业的发展提供了更多的数据支撑和数据驱动，如神策数据、GrowingIO、BDP商业数据平台等。

中国大数据产业规模变化趋势如图1-2所示，2017年已经达到4700亿元，同比增长30%。其中，大数据硬件产业发展迅猛，产值已经突破234亿元，同比增长39%。随着大数据在各个行业的融合、应用、不断深化，预计2020年中国大数据市场产值将突破1万亿元的规模。

中国商业联合会数据分析专业委员会提供的资料显示，在未来3～5年，中国大数据的人才需求量为180万人，而截止到2017年5月，统计发现中国大数据从业人员只有30万人，人才缺口相当巨大。大数据领域的高端人才更紧缺，目前这些高端人才主要来自海外回国和传统企业跨行业的人才，远远没有满足现在庞大的市场需求。

针对大数据人才供不应求的情况，各大高校陆续开通了大数据相关课程，培训机构也开设了各种培训班，用来培养大数据领域人才。可是，人才的培养需要一定的时间和实际工作经验，短期内还难以解决大数据领域人才短缺的现象。

大数据领域对人才的标准也随着其迅速的发展不断变化，在大数据发展初期，对人才的需求主要集中在ETL开发、数据仓库开发、Hadoop开发以及系统架构开发等技术领域，以计算机、传统IT背景的人才为主。目前随着大数据向各个垂直领域的延伸发展、大数据应用领域的不断拓展，大数据领域对统计学、数学专业的人才，从事数据分析、数据挖掘、机器学习、大数据项目管理等领域人才的需求加大。本书要重点介绍的数据产品经理，也在这个过程中逐渐走进人们的视线，成为一个新的产品经理岗位。

1.1.2 数据产品经理的前世今生

要讲清楚数据产品经理，首先要弄清楚数据产品经理负责的内容——数据产品。在这些年的工作中，我理解的数据产品是可以发挥数据价值去辅助用户做更优决策的一种产品形式。它在用户的决策和行动过程中，可以提供更多的分析展现和数据洞察，让数据更直观、高效地驱动业务。可见，数据产品主要消费数据，通过自动化形成稳定的产品形态。显然，数据分析师经常写的报告也可以被理解为以数据为主要产出的产品，但并不具备自动化产出的特性。

从受众用户群体来看，数据产品可以分为三类：

（1）企业内部使用的数据产品。如自建BI数据分析平台和推荐系统等，这里之所以提到推荐系统，是因为它与用户画像、搜索排序类似的算法一样，本质上是根据用户数据和相应的数据模型建立的一套评分标签体制，也属于数据产品的范畴。

（2）企业针对公司推出的商业型数据产品。如Google Analytics、GrowingIO、神策数据和BDP商业数据平台等，它们主要以平台行为为其他公司提供商业化服务。

（3）每个用户均可使用的数据产品。如猫眼的实时票房和淘宝指数等，这类产品主要面向普通用户，而且大部分提供免费服务。

在明确了数据产品的概念之后，我们不禁要问：数据产品是如何产生的呢？我们为什么需要数据产品呢？它的价值在哪里？

我觉得管理大师Peter Drucker 说过的一句话非常好，他说“If you can’t measure it，you can’t improve it”。意思就是，如果你无法衡量，你就无法增长。在当今移动互联网领域，“增长黑客”这个词特别流行，它的核心理念就是用数据驱动增长。特别是在中国，人口红利逐渐消失殆尽，流量成本越来越高，如何让企业获取快速的用户增长，用数据驱动产品、精细化运营，就潜藏在数据产品中。

在当今的大数据时代，像Google、Facebook、阿里巴巴、腾讯等各大公司都用数据驱动它们的业务增长。它们领先于其他公司的原因是它们做的任何决策不仅依赖于经验，而且更多的是将重点放到数据上，发现竞争对手不曾发现的市场，找出更多驱动业务发展的方法，从而获得更大的战略优势。有项调查显示，排名在后60%的企业，其大部分业务决策（约70%）是基于直觉或经验的，而基于数据做的决策很少。由此可见，通过数据驱动业务决策多么重要，它会让你的企业更容易获得业务上的发展和成功。

不仅企业做决策需要数据驱动，就是人们在日常的商业活动中，也每时每刻都有数据驱动的身影。人们在日常的商业活动中，做任何决策都需要明确目标。我们在做一件事之前，都要首先明确为什么要做这件事，以及要达到什么样的目标，应该采取怎样的行动，而且所有的决策都要有一个参考。例如，我最近想买一辆车，那么我会把问题分解，我要买什么样的车？通过什么渠道买？价格是多少？有些人会选择去问之前买过车的朋友，让他们给一些意见，也有些人去网上搜集各种车型，把各种车型的优缺点一一列举出来，然后进行科学的对比，选出适合自己的车型。在现在的社会里，拍脑袋做决定变得越来越难，做明智的决定更依赖于各种类型数据的支撑，特别是即时准确的数据。随着数学、统计学、计算机科学的普及，数据在决策优化过程中的价值越来越大，在大数据时代尤其如此，我们应该让数据驱动我们的决策，而不是拍脑袋。

在依赖数据做决策的过程中，我们获取数据的形式不外乎数据本身、数据服务和数据产品三种形式，而不经过加工的数据信息又很难产生知识，数据产品就显得至关重要。例如，小明想要约女生周末去看电影，可是不知道周末有什么电影上映，也不知道哪些电影的评价分数高。这时候，他可以直接看周末电影院的排片情况，在网上查一下评价，这就是数据本身在发挥价值，他也可以咨询女朋友或者同事，根据他们的建议和观看经历决定周末看什么电影，这相当于由别人提供了数据服务。当然，他还可以打开猫眼电影，通过如图1-3所示的实时票房页面，查看实时票房，发现《悲伤逆流成河》的实时票房最高，然后综合数据产品提供的上座和评价情况，决定是否去看这部电影，这种方式便是使用数据产品。数据产品把数据、数据模型以及分析决策逻辑尽可能多的形成一个产品形态，以更直观智能的方式，发挥数据的价值，辅助用户更快地做出更合理的决策。

有人说产品经理是21世纪最伟大的“勤杂工”，难道数据产品经理是最伟大的“搬运工”？说到产品经理，互联网从业人员大多都知道他是做什么的，但是在数据产品经理刚出现的那几年，谈到数据产品经理，别说非数据团队，就连我们的数据团队（分析师、算法工程师、研发工程师）也很好奇，数据产品经理听上去这么神秘，到底是做什么的呢？

数据产品经理是一个近些年来伴随着大数据的发展而出现的一个新兴的职业。那么，到底什么是数据产品经理呢？他到底做什么呢？我们先看一下数据产品经理在日常工作中的一段对话。

2015年10月10日，在某公司的数据部门工位上，作为刚入职公司的第一位数据产品经理，小王向公司的其他同事做了一个简单的自我介绍。

数据分析师小张：Hello！小王，你好，我是数据分析师小张，听说你是新来的数据产品经理，那你主要负责啥啊？要和我一起做分析吗？

数据产品经理小王：数据产品经理是做……

数据分析师小张：哦，那就是做数据仓库和大数据架构的吗？听上去好高大上啊，好好做，做好了我们数据分析师就轻松了。

数据产品经理小王：额，我还没有说完呢……

架构师小赵：小王，听说你是数据产品经理，是做那种报表的数据产品，是吧？那个我也会，现在不做了……

数据产品经理小王：额，数据产品不只是报表……

算法工程师小李：Hello！小王，刚才我们开会的那个会议纪要你写写呗，你不是专门整理会议纪要，然后写产品需求文档什么的吗？

数据产品经理小王：呃……你咋比我还清楚产品经理是干啥的呢？

数据产品经理会更细、更深入地挖掘用户对数据的潜在需求，分析对业务的贡献价值，服务于公司内的业务团队，甚至第三方公司，辅助他们更好地运营，但是没有脱离产品的本质，核心问题都是解决目前痛点问题和引导用户的未来需求。与上面的对话一样，很多人对数据产品最直观的印象只是停留在数据报表，比如阿里指数和谷歌分析等，其实这是很基础的数据需求。真正的数据产品是建立在大数据场景下通过数据挖掘并且体现数据价值后的产品化，最后再融合进业务产品流程中做辅助业务和驱动业务发展。除了通过数据发现问题之外，运营人员和老板更关心的是解决痛点问题，这才是大数据价值的体现，而不仅仅是整合数据、数据展现，更多的是发挥数据价值，真正指导产品运营和业务发展。

一个好的数据产品需要将用户的核心需求作为该产品的核心，并且充分发挥大数据的价值，然而，这句话对于每一个数据产品经理来说是不容易做到的。

第一，很多使用该产品的用户是内部用户，因为自身的一些客观原因，他们对数据存储、指标定义以及数据处理的了解和认识有所不同，所以会有不同方面的需求，这些需求中有很多都是很零散的，很难把握和总结归纳，需要按照统一流程处理。每一个数据产品经理都需要具有提炼数据需求、找出问题本质、推动解决问题的专业能力。

第二，对于一些企业的内部数据产品的用户来说，他们既是用户，同时又扮演着同事、老板、朋友等角色，他们本身就拥有一定的能力对产品经理的决策权进行一定的干预，而且经常说自己的需求很重要，这就需要数据产品经理平衡这些矛盾，审视这些优先级。

我在面试数据产品经理的时候，发现有很多其他职位的人来面试，如其他产品经理、数据分析师等，还有想从事数据产品经理的各个专业的人，如物理学、化学等专业的人。其实，只要具备业务能力、产品能力和数据能力，能满足数据产品经理基本的要求，有成长潜力，什么专业的人都是可以考虑的。

对于业务能力来说，因为每个公司的业务都不一样，所以能够掌握一些业务常用的思路和处理能力、能够在业务中发现痛点，并通过数据产品解决或者辅助解决问题的数据产品经理就是合格的。

数据能力是用数据和事实说话的能力，而不是拍脑袋决定的。例如，有些面试者爱说我觉得怎样，但是简历里面写的项目没有任何数据支撑，更别说数据埋点、数据仓库、基础的数据处理这些方面的经验和能力了。

说到产品能力，数据产品经理要能够把需求产品化，完成基本的需求文档和评审，并推动产品从需求到落地。如果数据产品经理有一定的产品运营经验会更好，就可以收集用户需求不断迭代产品，同时，也要具有一定的沟通、协调资源和进度把控能力。

数据产品经理在日常的工作中，要与公司的很多同事合作。例如，经常要面对业务方同事、研发工程师等，图1-4所示为数据产品经理和他的朋友们。

其中，距离表示各个职位和数据产品经理的远近，箭头的粗细代表日常与数据产品经理沟通的数量，箭头的指向代表由哪一方主动发起沟通。当然，个别公司还会设置交互设计师、数据挖掘工程师等职位，他们也经常和数据产品经理打交道，图1-4只是表示了一些公司通用的职位。

数据产品经理的本质是互联网产品经理的一个细分领域，其产品的用户可以是公司内部同事，也可以是外部用户或者付费用户，其工作目标是通过数据分析和挖掘，辅助其发现问题，提高决策准确性。为了完成数据产品，数据产品经理不仅要与传统的研发工程师、交互设计师、UI设计师、用户研究人员、产品用户、测试工程师打交道，还需要与数据分析师、数据科学家、算法工程师、数据仓库工程师等沟通。为了保证沟通中的效率，数据产品经理需要清楚沟通时可能会涉及需求收集、产品实现方式、需求管理、数据产品推动、数据产品实现、数据产品落地与运营等，这些将在后续章节中逐步讲解。