2.1 企业利用数据的挑战和趋势

很多企业都认识到数据是最宝贵的资产，并且在数据领域的投入很大，但是通过数据获得的收益并未达到预期，这是因为缺少正确利用数据的方法和实践指导。

2.1.1 企业利用数据的6个挑战

面对海量的数据源、高速变化的业务需求、陈旧的遗留系统架构，企业利用数据时存在如图2-1所示的六大挑战。

1.缺乏数据思维

数据思维就是使用数据来发现问题和解决问题的能力，它决定了工作人员能否对数据进行有效分析，并给出建议来解决业务问题。

数据思维由3部分组成：数据认知，数据敏感度，数据处理的方法和经验。

（1）数据认知

数据认知指对数据价值的认识。客观认识数据的价值是数据思维的根基，它决定我们能否在面对问题时使用正确的数据和方法。

有些人在分析问题和做决策的过程中推崇经验主义，只凭感性操作，无视数据。这是典型的数据认知不足。在这样的认知基础上，他们不可能关注和留心搜集数据，也就无法利用好数据。有些人正相反，把数据作为分析问题和做决策的唯一绝对方法，一切唯数据论，而忽视了数据背后的业务客观现状以及数据建模的过程和方法。

正确的数据认知指能够清晰地理解数据的价值和局限，能够客观地看待数据在解决问题过程中的作用，既不夸大也不贬低数据的影响。建立正确的数据认知首先要清晰地知道数据是什么，来自哪里，有什么特性，能够解决什么问题。特别在如今以数据为生产要素的时代，要建立起“数据是核心资产”的意识，留心采集数据，关注数据的存储，重视数据的安全和隐私性。

（2）数据敏感度

部队的很多高级指挥员有一个习惯，随身携带一个小本子，记录战场的很多数据：每支部队歼敌多少、俘虏多少，缴获的火炮多少、车辆多少、枪支多少、物资多少……再通过这些数据来分析和判断敌我军情，从而指导和制定后续战斗的打法。

这就是数据敏感度的例子。数据敏感度指结合对业务的深刻理解，洞察数据背后的业务规律，将看上去碎片化、没有关联的数据拼成一幅全局图，从表面纷繁芜杂的数据中发现业务价值。

数据敏感度高的人，看到数字会快速产生联想，脑海中迅速形成关联图，定位数据线索，寻找数据背后的问题或者机会。数据敏感低的人，看到数字往往没有反应，不知道这些数据能说明什么问题。

（3）数据处理的方法和经验

光有认知和敏感度还不够，利用数据还需要掌握数据处理方法，积累数据分析经验。大部分情况下，我们所能看到和采集到的数据都是最表层的。如果希望利用这些数据，往往需要对其进行转换、切片、填充、映射、计算等加工处理，基础、常用的数据处理方法包括Excel里的数据透视表、统计分析等。

企业工作人员，不论决策层还是执行层，都要建立全面的数据思维。这是发挥数据价值、做好数字化转型的基础。如果企业人员没有建立数据思维，就无法利用数据去提升业务，就像一个人站在金矿上却不自知。建立员工的数据思维是企业利用好数据的第一道门槛。

2.缺少价值场景

数据要与业务结合才能产生价值，否则就是沉睡的资源。

所有数据都是为业务服务的，能产生业务价值的场景是利用数据的核心抓手。一个好的价值场景能够解决特定的问题，让用户有获得感。同时，好的场景能够让问题的相关方都贡献自己的数据，从而使数据打通。

例如，一些开在商场里的门店起初很可能并不愿意将自己的销售数据提供给商场运营方，但商场运营方通过整合全商场的销售品类数据，能够给门店提供更精准的用户推荐和导流，让门店能够提升流量和转化率，这时候门店就愿意开放自己的数据。

如何发现好的价值场景呢？这是一个很有挑战性的问题。业务人员身在问题之中，缺少技术与数据的专业知识，无法跳出惯性思维定位业务场景；而技术和数据人员则缺少业务思维。需要采用创新的方法，引导企业一步步探索和发现有价值的业务场景。

3.缺少高质量数据

很多企业说他们没有数据可用，而实际上，数据无时无刻不在产生。在这些企业昂贵的数据存储里往往有大量的数据正在沉睡，这些数据都是孤岛，口径不一致，数据质量不高，无法被利用。

数据质量不高的根本原因是过去应用数据都是一体化架构，数据是从属于业务应用而存在的，开发人员重点关注的是业务应用的功能，生成什么就存储什么，需要什么就生成什么。而企业的业务应用目前还是按职能划分并建设的，所以在数据生产的环节就缺少整体的规划，数据生来就是孤岛。

精益数据方法认为，数据是业务的数字化存在形式，而应用是计算处理数据的工具，数据的生命周期要长于应用的生命周期。要改善数据质量问题，企业需要从根本上改变数据从属于应用的观念，用数据引导应用的建设，也就是先构建数据蓝图，再规划业务应用。

精益数据方法为企业提供了构建数据资产蓝图，以及使用数据资产蓝图来探索价值场景的方法。在设计业务应用之前把全局业务映射的数据全貌规划出来，这就是企业数据资产蓝图。数据资产蓝图是企业业务在数字化世界里的投射，与数据的存储形式、建模方式无关。

有了数据资产蓝图后，企业进行业务系统的规划设计就像拼图有了参照物，能够在数据资产的整体规划下设计业务系统的数据架构，从根本上规避数据孤岛和重复建设。

4.缺少数据平台和工具

在很多企业中，甚至在一些信息化发展比较成熟的企业中，都有一些“表哥”“表姐”。他们的主要工作就是与Excel打交道，每天从各个系统里导出数据表格，根据领导的要求和业务的需要对这些表格做各种处理加工，很多业务就是根据这些N次加工后的离线数据来决策的。通过Excel表格的方式加工数据，是现在很多企业的数据利用现状，但是，这样的方式在复杂数据处理过程中有众多弊端，如版本无法管理、协作低效、无法处理大量数据、容易出错、存在很大数据安全隐患等。

这体现了企业利用数据的一个挑战，那就是缺少统一的数据平台和多样化的数据加工工具。这样的数据平台应该具备唯一性、安全性、多样化、健壮性的特点，能够与企业的业务系统、决策支持系统等紧密集成。

企业陷入“数据太多、太乱、质量不高，不知道如何利用数据发挥价值”的困境中，是因为底层的数据处理能力不够，缺少先进的数据处理技术、平台和工具。很多企业在当今仍基于20世纪的架构、技术和工具来处理数据。构建一个与时俱进的企业数据平台，优化数据处理手段和技术，是这些企业迫在眉睫的工作。

在这种情况下，精益数据方法认为企业需要建设一个服务于业务价值的、统一的数据生产平台，也就是数据中台。第7章将详细介绍如何利用精益数据方法打造数据中台。

5.缺少数据人才和能力

现在互联网技术盛行，各种框架、脚手架、自动化工具层出不穷。在众多工具的加持下，开发业务系统的程序员能够很容易地套用一些可复用的代码，写出业务逻辑，实现业务功能。技术似乎真的没有门槛了。

但是在数据开发方面却是另一种景象。对于同样的数据源，不同团队开发出来的数据结果不一样；历史沉淀多年的数据管道、数据模型越积越多，无人能看懂，但是谁也不敢动；建模数据质量不高、数据重复存储，造成数据冗余，工作人员无法及时获取最准确、最全面的数据；数据仓库里历史报表成百上千，但是业务部门总是在提新的报表需求，数据团队永远疲于奔命赶进度。

这些现象充分体现了企业数据团队的现状，即缺少专业的数据人才，且数据相关的技术人员缺少能够满足新时代数据处理需求的能力。

本书第8章会根据精益数据方法提供一个典型数据团队的人员构成及数据类岗位全景图。

6.缺少数据驱动的企业文化

很多企业在说自己无法有效利用数据这个问题的时候，往往强调两点：一是没有高质量数据，二是技术能力不行。但很少有企业提到一个最重要的基础问题，那就是企业是否建立了数据驱动的文化。这是企业最容易忽视的方面。

阿里巴巴公司内部有一句话，“有数据讲数据，没数据不说话”；字节跳动倡导员工在解决所有问题时都尽可能采用A/B测试，先得到量化的结果，之后再决策。这就是数据驱动的企业文化的体现。

数据驱动的企业文化是让数据持续发挥价值的重要支撑。如果没有人把数据当作核心资产，那就没有人在意数据的质量；如果企业的数据不能够进行必要的协同、共享，那就无法碰撞出更多的价值；如果员工在日常生产经营中没有利用数据做分析决策的意识，那再多数据都只是摆设；如果企业不能建立起数据驱动的组织机构，并配套形成决策、沟通、协同机制，那么企业的数据资源就无法真正发挥作用。

构建数据驱动的组织和文化，让数据成为组织内部沟通和决策的工具，是成为数据驱动的企业的基础工作和必要保障。第8章会详细介绍如何打造数据驱动的组织文化。

2.1.2 数据生产和利用的6个趋势

在数字化时代，数据的生产和利用存在6个趋势，如图2-2所示。

1.从资源到资产，从使用到价值

人类利用数据的过程分为4个阶段。

● 第一个阶段：在计算机出现之前，数据是以信息的形式存在的，是人们从事社会活动的伴生产物，所有的人类活动都会产生并传递信息。人们使用石头、纸等物质来记录信息。这个阶段数据主要的计算工具是人脑和算盘。

● 第二个阶段：随着计算机的出现，数据成了软件的副产品，重要的过程和计算的结果都以数据的形式存储下来，从而让软件的使用体验更好。

● 第三个阶段：数据库的出现开启了人类规模化分析和利用数据的新篇章，人们能够实现跨软件、跨应用、跨领域的数据整合和分析，使用数据仓库、商业智能工具来辅助决策。

● 第四个阶段：进入数字化时代，数据从资源变成了资产，能直接为业务提供价值，人们从数据中挖掘业务洞见，发现业务创新，数据成了数字经济的生产要素。

前三个阶段，数据都是资源，是辅助人类思考和决策的副产品，到了第四个阶段，数据能够直接参与业务流程，驱动业务。

从资源到资产的变化，不仅改变了企业数据生产和利用的目标，还带来了数据管理、数据分析、数据科学、数据治理、数据工具与技术等方面的全方位变革。

所有的数据工作者都要意识到，我们正处于一个新的时代中。

2.分析、利用民主化，能力平台化

海量数据不断产生，新的数字化技术层出不穷，为业务和数据工作者提供了更多样化、更强大、更智能的数据处理工具。数据分析从原来少数人掌握的专业技能逐渐变成每个人都需要学会的基础技能，借助便捷易用的数据分析处理工具，数据分析和利用的民主化是一个正在席卷全球的现象。每一个个体都可以应用这些技术和工具来处理分析数据，去解决问题。

数据的分析和利用从以前以IT部门为中心走向去中心化、民主化，所有的业务部门都要掌握和利用数据，与此同时数据能力的建设逐渐变得平台化，从而通过统一、敏捷的企业级数据中台为全员提供端到端的数据生产加工能力。

数据越丰富、维度越多，产生的业务洞察就越多。众多企业都在建设自己的“智慧大脑”，汇聚内外部的多方数据，形成业务决策和行动指令，下发给不同的执行单元去落实。

汇聚全域数据，推动数据能力平台化，实现智能决策，提升全局优化能力，这是数据驱动业务的典型趋势和体现。

3.数据资产蓝图规划先于应用架构设计

现在很多企业面临数据孤岛、重复数据多、数据质量不高、数据难利用的现状。究其根本，是企业早期没有形成全面的数据规划，导致数据被动地跟着应用软件的建设节奏产生，一个应用形成一批数据，导致数据“烟囱”林立，无法融合。

精益数据方法提倡企业构建自己的数据资产蓝图。数据资产蓝图就是企业业务的终局全貌在数字化世界里的投影，它从数据的维度描述了企业愿景。企业的业务流程、具体策略、组织结构会发生变化，但是业务愿景是相对清晰和稳定的。

数据资产蓝图能够将企业一段时间内的数据资产、数据分布、数据关系、数据生产和利用的全链路描述清楚，从而去指导企业应用系统的构建，这样能最大程度上避免在构建应用系统的时候出现数据孤岛、数据不一致的情况。

4.计算与存储分离，交易与分析融合

传统数据应用分成两类，联机事务处理（On-Line Transaction Processing，OLTP）系统和联机分析处理（On-Line Analytical Processing，OLAP）系统。前者主要用来接收和处理业务需求，通过计算形成数据；后者则专注于数据的分析和处理，形成业务洞见来辅助业务决策。

这样设计的本质原因是当时数据存储和计算能力不足以支撑大量数据同时进行交易和分析，所以只能将交易系统和分析系统独立开。这也是后面数据应用一体架构形成，进而产生数据孤岛现象的根本原因。

随着云计算、大数据、流式处理等数字化技术的成熟和广泛应用，新的技术逐渐支撑起数据的存储与计算分离，应用与数据不需要再采用紧耦合架构。数据虽然分布松散，但是可以快速融合汇聚，形成统一的企业数据中台，而应用则灵活地“飘”在云计算平台之上，云计算源源不断地提供算力，可以使交易系统实时获得海量数据分析的结果。

计算与存储分离、交易与分析融合的趋势已经在很多新的数据架构，如数据网格中呈现，这两个趋势会从底层带来数据生产和利用的巨大变革。比如，数据的连接比数据的获取和存储更加重要，随着实时计算、大批量数据传输技术的升级，以后无须把大量不使用的数据单独抽取出来提前存储在数据库里了。5.主动智能式数据治理

随着人工智能技术在数据领域的应用，过去以制定标准为主要内容、集中于事后或者事中阶段的被动式数据治理的模式将走向主动智能式数据治理。

主动式智能式数据治理有以下3个特点。

● 基于企业级数据资产蓝图，提前设计好顶层治理规划和标准。

● 将数据治理体系建设与具体的业务场景相关联，让数据治理直接产生业务价值。

● 利用新的数据及智能技术，实现元数据的主动智能管理，加速数据生产和利用的价值链的运转。

● 第5章会详细介绍主动智能式的精益数据治理。

6.打通组织壁垒，优化协同

从第三次工业革命以来，专业化分工促进了生产力的发展，但是专业化分工构建的组织结构却成了阻碍企业数字化转型的最高的壁垒。不同的组织单元、职能部门间业务目标不一样，KPI不一致，管理的系统不同，各自有各自的数据，相互不联通。

企业组织壁垒的问题，靠组织上的调整是很难解决的，但是企业通过数据的流动，能够打通组织壁垒，优化协同。也就是说，数据将成为企业打破组织壁垒，全局优化的新力量。因为数据天生具有连接性，一个数据可以关联其他数据，而且数据是没有部门、没有组织的。识别出价值场景，然后将相关的数据注入，通过数据价值链的正常运转找出那些有问题的错数据，解决了这些错误数据，其背后的组织壁垒以及由组织壁垒引发的业务问题也就迎刃而解了。

回顾数据利用的六大问题，展望六大趋势，我们发现新的时代需要新的方法论来解决企业数据生产和利用的问题，这样的方法论需要有以下几个核心要素：以用户价值为中心，构建自动化的数据价值链，持续迭代优化。

这3点正是工业时代精益思想的核心原则，精益思想曾指导工业生产转型，同样适用于数字化时代的数据生产。

精益数据方法针对数字化时代企业数字化转型的痛点，以精益思想为内核，融合了设计思维、敏捷思想和Cynefin框架，是一套数据驱动的数字化转型方法论。