上QQ阅读APP看书,第一时间看更新
1.5 大数据的处理流程
大数据的数据来源广泛,应用需求和数据类型都不尽相同,但是最基本的处理流程一致。海量Web数据的处理是一类非常典型的大数据应用,从中可以归纳出大数据处理的最基本流程,如图1-4所示。
图1-4 大数据处理的基本流程
整个大数据的处理流程可以定义为:在合适工具的辅助下,对广泛异构的数据源进行抽取和集成,结果按照一定的标准进行统一存储,并利用合适的数据分析技术对存储的数据进行分析,从中提取有益的知识并利用恰当的方式将结果展现给终端用户。具体来说,可以分为数据抽取与集成、数据分析以及数据解释。