5.5 数据中台建设的人员规划
在数据中台的建设中,除了传统的大数据团队以外,还需要业务部门的积极参与。因为共享的数据能力是与业务相关的,而且开发和迭代的流程需要与各个业务部门、IT部门协调沟通,所以在建设数据中台时需要对参与人员进行统筹安排。这也是我们在数据中台的规划过程中经常碰到的问题。下面列出了数据中台建设过程中一般会涉及的人员及其主要职责。
·业务部门主管:深入了解业务流程和优先级,能够将业务场景与数据对应,指导建模的流程。
·业务系统架构师:了解企业的系统架构、技术框架。
·业务流程工程师:对业务流程非常熟悉,通常是技术部门与业务部门的纽带。
·数据工程师
·数据平台工程师:通常有系统工程师背景,负责建设和运维数据平台,安装和运维各种大数据组件,以及保证数据平台的性能和稳定性。
·数据开发工程师:以数据仓库技能为背景,懂业务,负责建模、数据清洗和编写ETL程序。
·数据应用开发工程师:以应用开发为背景,开发服务于业务部门的数据应用。
·数据中台架构师:全面掌握数据平台的功能,对公司的产品提出数据的支持和要求,负责公司产品与数据平台的集成、与业务系统进行衔接的架构规划以及公司的数据标准推动和把控。
·数据分析师:以统计学背景为主,能够从数据中产生合理、准确的商业智能报表。
·数据科学家:以机器学习为背景,提供基于机器学习和人工智能的数据分析产品和结果。
·数据产品经理:负责公司内部数据能力的规划和开发流程的协调,有时这个角色由数据架构师承担。
图5-1列出了以上主要角色与数据中台各个组件交互的对应关系。
图5-1 数据中台团队角色
由于建设阶段不同,角色可能会有细微变化,如在数据中台建设的早期阶段,可能每个部门都有数据应用开发工程师、数据分析师、数据科学家,或者需要这些角色的参与。
数据中台建设团队的组织模式一般有两种。一种是去中心化的数据中台搭建模式,这种搭建模式下一般有一个数据平台团队来打造这个“数据中台”,然后各个业务部门(一般都有自己的开发团队)在这个平台上开发和使用自己的数据应用。通过这个数据运营平台,在有共享和复用需要的时候,各个业务团队可以快速共享自己的数据能力。这种模式在硅谷比较普遍,好处是比较容易推进,因为数据中台实际上分为两部分:一部分是数据技术,这一部分最好由数据平台团队负责;另一部分是业务数据能力,这一部分最好由业务部门的人完成,因为他们最理解业务,并且业务也是经常需要迭代的。这种模式的难点在于数据平台团队的业绩难以直接衡量,而且推行统一数据标准需要业务部门积极参与和配合,在业务部门比较繁忙的情况下难以协调。
另一种模式是组建一个专门的数据中台团队,并由中台团队来负责所有共享的数据能力的规划和开发,它相当于公司内部的一个支持团队,负责满足其他部门的需求。这种模式的好处在于数据能力的规划和实现比较直接,难点主要在于数据中台团队需要理解业务,在业务快速变化的情况下迭代速度不一定能跟上,而且数据中台团队会和各个业务部门产生一定的职能冲突。
表5-1列出了两种模式的一些对比。
表5-1 集中式与去中心化的数据中台实现对比
对于具体企业而言,到底应该采用何种模式来实现自身的数据中台,主要看企业所处的阶段以及企业的真实需求,必须实事求是,根据企业的实际情况来做出更优的选择。实际上,数据中台与技术中台不一样,数据是跟着业务走的,而技术的共性比较多。让数据中台部门天天跟着业务部门学习数据显然不现实,Twitter、Facebook、Airbnb等硅谷公司的做法是,大数据部门提供足够好用的工具,赋能业务部门共享数据能力。而有些公司的情况又不一样,它们将某项能力抽取出来由专门的组来负责。这两种方式各有优势,因此要视公司的具体情况而定。而国内有些行业的大数据平台建设往往是搭建一个Hadoop集群且仅供该部门内的项目使用。其他部门需要大数据应用时,由于没有一个很好的大数据平台架构,使用这个部门的大数据平台会非常困难,最后只能再独立搭建一个Hadoop集群。这样就会产生大量的数据孤岛和应用孤岛。因此,最好在建设大数据平台之初就要求各个部门共享集群,每个数据应用都必须接入现有的平台。