前言

当今世界，信息技术为人类开启了步入智能社会的大门，同时也带动了互联网、物联网、（电子商务、现代物流、网络金融）等现代服务业的发展，带来了车联网、智能电网、新能源、智能交通、智慧城市、高端装备制造等产业的兴起。现代信息技术正成为各行各业运营和发展的引擎，而由于各种业务数据正以几何级数的形式增长，这个引擎正面临着大数据这个巨大的考验。对于数据的格式、收集、储存、检索、分析、应用等诸多问题，已不能再用传统的信息处理技术解决。这给人类迈入数字社会、网络社会和智能社会造成了极大的障碍。

数据无疑是新型信息技术服务和科学研究的基石，而大数据处理技术理所当然地成为当今信息技术发展的核心热点。大数据处理技术的蓬勃发展也预示着又一次信息技术革命的到来。随着国家经济结构调整、产业升级的不断深化，信息处理技术的作用日益凸显，而大数据处理技术无疑将在国民经济支柱产业的信息化建设中成为实现核心技术的弯道追赶、跟随发展、应用突破、减少绑架的最佳突破点。

当前，市面上已经陆续出版了不少关于大数据的书，有面向大众的概念普及类图书，也有讲解大数据技术的书，本书属于第二类。本书专注于研究与大数据处理有关的互联网架构，全书共分为六章。第一章是绪论，介绍了大数据的发展与相关概念；第二章是大数据处理流程与系统架构，介绍了大数据的基础知识；第三章是大数据基础技术支持，讲述了数据中心与云计算平台的架构、虚拟化技术与数据采集；第四章是大数据存储，介绍了分布式文件系统与分布式数据库，并详细讲述了分布式数据库中的列式存储、文档存储和Key-Value存储；第五章是大数据处理，讲述了大数据的两种处理技术——批处理和流式计算，并研究了大数据分析与挖掘的工具与架构；第六章是大数据架构设计实例，讲述了大数据应用实例及大数据在各行各业的应用架构实例。

本书在写作过程中参考了大量的书籍，谨向这些书的作者和译者表示真诚的谢意。另外，本书在写作过程中还参考了部分网上相关资料，书中所用部分图片也是通过搜索引擎在网上找到的，但本书对参考网文与图片的来源无法一一注明，在此谨向这些网文与图片的作者或所有者表示感谢，还请见谅。最后需要说明的是，由于作者水平有限，书中难免有不足或错误，敬请各位读者批评指正。

作者

2017年5月