1.2.4 从技术创新到生态发展
大数据发展大致可分为萌芽期、发展期和应用期三个阶段,如图 1-2所示。萌芽期(20世纪末至21世纪初)的大数据,多是指“大量的数据或数据集”,数据挖掘理论及关系型数据库技术基本成熟,但数据价值还未受到完全重视,未形成涵盖整个数据生命周期相关技术方法与特征内涵的系统性研究。Web2.0 时代的到来标志着大数据发展期(21 世纪前十年)的到来,这一阶段,半结构化、非结构化数据大量产生,Hadoop等大数据处理技术平台发展迅速,大数据处理能力快速积累,数据清洗、汇聚、存储、处理等基础技术应用和基础设施建设迅速展开,相关的定义、内涵、特征也得到进一步丰富。2010年以后,随着大数据在社会治理及各行业中的深度应用,云计算、人工智能、物联网、移动互联网等技术的成熟,大数据也迎来了高速发展的应用期,数据确权、数据质量、数据安全、隐私保护、共享开放等问题日益受到关注并引发人们的深度思考,大数据生态体系逐步建立。
图1-2 大数据发展的三个阶段
专栏1:北京市在大数据技术产业方面的贡献
作为推动大数据技术产业发展的先行者和领航者,北京市大数据发展指数常年位居全国前列。2019 年,北京大数据产业规模达 2179.5 亿元,同比增长26.9%,在中国大数据企业50强榜单(在2019世界计算机大会上发布)中,小米、美团、百度等22家北京企业霸单,占全国比重的44%。
在技术方面,支持企业研发、开放、共享大数据相关技术产品,百度的数据可视化开源项目 ECharts成为国内业界应用广泛的工具,自主研发了先进内存分布式数据库、流数据库,同时引导中小企业“上云、上平台”,参与大数据开发利用工作。在应用方面,形成一批垂直领域成熟的大数据解决方案,在金融、医疗健康、智慧城市等方面得到了广泛应用;加快大数据新型信息基础设施建设,推动京津冀国家大数据综合试验区建设,形成“四梁八柱深地基”的大数据平台体系总体架构。在营造生态方面,推动企业加快数字化改造升级,实现互联互通、数据全面采集;探索建立可信数据空间,培育数据市场,开展数据流通、共享与应用试点示范,推动数据共享向纵深发展(见图1-3)。
图1-3 北京市大数据产业发展情况