第3章 大数据的基础设施

所谓基础设施，是指在IT环境中，为具体应用提供计算、存储、互联和管理等基础功能的软硬件系统。在信息技术发展的早期，IT基础设施往往由一系列昂贵的、经过特殊设计的软硬件设备组成，存储容量非常有限，系统之间也没有高效的数据交换通道，应用软件直接运行在硬件平台上。在这种环境中，用户不容易、也没有必要去区分哪些部分属于基础设施，哪些部分属于应用软件。然而，随着对新应用的需求不断涌现，IT基础设施发生了翻天覆地的变化。 

首先，应用软件的业务逻辑变得日益复杂，人类对计算能力的需求似乎永远无法被满足。摩尔定律在过去的40年书写了奇迹，并且奇迹似乎还在延续。在这奇迹的背后，是越来越廉价、越来越高效的计算能力。有了强大的计算能力，人类就有可能处理数量更为庞大的数据，而这又带来对存储的需求。再之后，对单一结点的改进已经显得太慢了，需要把并行理论搬上台面，更大限度地挖掘IT基础设施的潜力。于是，网络也蓬勃发展起来。由于硬件已经变得前所未有的复杂，专门管理硬件资源、为上层应用提供运行环境的系统软件也顺应历史潮流，迅速发展壮大。