大数据技术入门
上QQ阅读APP看书,第一时间看更新

3.4 初识Hadoop

在Hadoop安装后,我们启动Hadoop相关服务,然后尝试使用这些服务。

3.4.1 启动和停止服务

进入ambari后,可以看到如图3-10所示的界面。左侧是HDP包含的所有组件,如果组件左侧显示为绿色对号,表示成功启动。

图3-10 ambari界面

以HDFS服务为例,我们点击右上角,选择对应的选项,启动或停止服务即可,如图3-11所示。

图3-11 HDFS管理

3.4.2 使用HDFS

我们对HDFS做一些简单的测试操作:首先查看HDFS状态,查看有哪些datanode,以及各个datanode的情况。我们输入以下命令:

    sudo -u hdfs hdfs dfsadmin –report

上面的“sudo -u hdfs”是切换到hdfs用户,而dfsadmin是运行一个HDFS的dfsadmin客户端。它的参数–report用来报告文件系统的基本信息和统计信息,如图3-12所示。

图3-12 显示HDFS状态

下面我们在HDFS上创建一个文件夹,输入命令:

    hadoop fs -mkdir /tmp/input

并将本地文件input1.txt传到hdfs的/tmp/input目录下:

    hadoop fs -put '/root/Desktop/input1.txt' /tmp/input

然后查看HDFS上的文件,验证各节点的input1.txt是否上传成功:

    hadoop fs -ls /tmp/input

以上操作命令执行结果如图3-13所示。

图3-13 文件操作

读者可以在HDFS上执行以下更多的命令,对文件进行操作:

    hadoop fs -get  input1.txt /tmp/input/input1.txt  #把HDFS文件拉到本地
    hadoop fs -cat /tmp/input/input1.txt  #查看HDFS上的文件