2.1.2 数据中台服务
近年来,随着IT技术与大数据的不断发展,越来越多的企业将数据作为宝贵的资产而长期保留。同时,微服务与分布式技术的不断发展,使得联机应用程序不再使用“烟囱式”构建模式,而是需要由众多原子服务组件在一个数据池中进行灵活的数据访问。这使得一些传统联机应用程序的历史数据包袱越来越重,灵活性大幅度下降,最终导致数据库不堪重负、应用整体性能低下。与此同时,随着大数据需求的不断增加,已归档的数据需要重新上线,以满足在线化与实时化使用、查询和分析等要求,这就要求对庞大的离线数据进行在线化与服务化。这些需求使得数据中台系统成为各大企业IT建设与投入的重要方向。
数据中台主要提供全量数据的实时在线服务,同时提供对海量数据进行采集、计算、存储、加工及基于全量数据的数据价值发掘和构建数据科学工程等服务。在过去,银行等机构的数据管理被简单地划分为在线核心及归档两个部分,随着业务的复杂化及互联网、移动业务带来的海量数据的增长,数据在治理、挖掘等方面的重要性凸显,因此,数据中台就成为现在金融等大型企业关注的业务重点。
数据中台作为大数据与新型互联网业务应用中间的一层,一方面可以将大数据和数据仓库的加工结果放在这一层,对外提供高并发、低延时的API和标准SQL访问;另一方面可以将核心库里面的数据实时抽取过来进行一些数据粗加工,如用户统一资产视图、实时绩效等业务。
数据中台将大数据和数据仓库的结果,以及来自核心交易库输入的实时数据流,以直接API或标准SQL的方式对外提供高并发、低延时的数据访问服务(见图2-2)。
图2-2 数据中台业务架构逻辑
SequoiaDB(巨杉数据库)提供了企业历史与实时数据的统一纳管平台,激活了企业数据的核心价值。通过对海量历史与实时数据的采集、计算、存储和加工,数据中台为应用上层多变的业务逻辑与底层稳定的数据结构提供中间层统一的标准与口径,满足企业业务和数据沉淀的需求,实现生产系统瘦身、历史数据在线化,减少重复建设、降低烟囱式协作成本的目的,以增强企业的差异化竞争优势。
SequoiaDB的数据中台解决方案包括以下技术特性。
● 无限弹性扩展:具备此特性的分布式体系架构,可轻易承载PB级别的对外联机业务数据。
● 高并发、低延时:可以同时服务于数十万级高并发联机业务,并提供毫秒级实时数据访问性能。
● 多索引:在用户表的不同字段与维度创建多个用户索引,支持复杂灵活的毫秒级联机查询需求。
● 多模式:支持面向联机交易、混合业务及统计分析的SQL执行引擎,支持标准结构化数据和文件,支持对象类型的非结构化数据存储与联机访问。
● 多租户:提供多实例及数据区域隔离等特性,确保来自不同类型业务系统的计算与存储资源可相互独立、互不干扰。
● 高可用性:最大程度地提升数据的可靠性与可用性,同时支持同城双中心、两地三中心、三地五中心等丰富的容灾策略。
基于SequoiaDB搭建的数据中台能够为客户带来以下价值。
● 敏捷开发:其应用开发效率比不使用数据中台的数据系统提升3~5倍,无须调整底层数据模型即可与上层应用敏捷对接,并可打破系统间的数据壁垒,提供跨业务系统的数据访问。
● 数据全量在线:支持历史数据全量在线,对传统冷数据可提供全方位在线服务及企业级的统一数据视图。对冷、热数据的全量在线一体化访问,可大幅提升用户体验。
● 降低风险:能实现“24小时×7天”的高可用性与容灾策略,确保数据永远在线、可用;可以快速实现新业务构思,避免将核心业务数据库直接暴露给外部消费类业务系统,并导致核心业务数据库被破坏的风险。
● 降低成本:通过用PC服务器取代小型机,可减少软硬件费用,降低对接公有、私有云平台的IT投入成本;而核心交易系统业务下移,可降低主机负载并减少企业的IT升级费用。
基于SequoiaDB构建的数据中台,可以实现数据的“融会贯通”,提供联机数据一站式服务,帮助企业实现多业务数据的整合,跨越底层数据与新业务的鸿沟。目前,它已大规模应用于企业生产库瘦身、数据生命周期管理等业务。