大数据采集与处理
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

2.3.2 单机模式

Hadoop默认模式为非分布式模式(本地模式),不需要进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试,解压Hadoop后就可以直接使用。

(1)创建一个存放本地模式Hadoop的目录。

[Hadoop@bigdata-senior01 modules]$ mkdir/opt/modules/standalone

(2)解压Hadoop文件,代码如图2-11所示。

图2-11 解压Hadoop文件

(3)确保JAVA_HOME 环境变量已经配置好。

[Hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}/opt/modules/jdk1.8.0_72

(4)运行MapReduce程序,验证。

这里运行Hadoop自带的MapReduce测试工程,在本地模式下测试wordcount案例。

(5)准备MapReduce输入文件wc.input。

[Hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.inputHadoop mapreduce hivehbase spark stormsqoop Hadoop hivespark Hadoop

(6)运行Hadoop自带的mapreduce Demo工程,对应jar包:hadoop-mapreduce-examples-3.2.2.jar,输入测试案例名称:wordcount,代码如图2-12所示,结果如图2-13所示。

图2-12 运行wordcount案例命令

图2-13 运行wordcount案例结果

从图2-13可以看到Job ID中有local字样,说明是运行在本地模式下的。

(7)查看输出文件,代码及结果如图2-14所示。

图2-14 查看输出文件

在本地模式下,MapReduce 的输出是输出到本地。输出目录中有 _SUCCESS 文件说明Job 运行成功,part-r-00000 是输出结果文件。