上QQ阅读APP看书,第一时间看更新
第1章 Hadoop介绍
学习目标
(1)认识Hadoop。
(2)了解Hadoop的核心组件。
(3)了解Hadoop的生态系统。
(4)了解Hadoop的应用场景。
任务背景
随着时代的发展,“大数据”已经成为一个耳熟能详的词汇。与此同时,针对大数据处理的新技术也在不断的开发和运用中,逐渐成为数据处理挖掘行业广泛使用的主流技术之一。本章就来简要介绍一款非常有代表性的大数据处理框架——Hadoop。
在大数据时代,Hadoop作为处理大数据的分布式存储和计算框架,得到了国内外大、中、小型企业的广泛应用,学习Hadoop技术是从事大数据行业工作必不可少的一步。本章将从以下几个方面了解Hadoop的框架理论。首先了解Hadoop的发展历史与特点,然后进一步讲解Hadoop的两大核心——HDFS和MapReduce,以及用于资源与任务调度的YARN框架。接下来对Hadoop生态系统中的组件进行简单的了解,包括组件的特点和应用。最后简要介绍了Hadoop的使用情况和应用场景。