Spark编程基础(Scala版)
上QQ阅读APP看书,第一时间看更新

实验1 Linux系统的安装和常用命令

一、实验目的

(1)掌握Linux虚拟机的安装方法。Spark和Hadoop等大数据软件在Linux操作系统上运行可以发挥最佳性能,因此,本教材中,Spark都是在Linux系统中进行相关操作,同时,下一章的Scala语言也会在Linux系统中安装和操作。鉴于目前很多读者正在使用Windows操作系统,因此,为了顺利完成本教材的后续实验,这里有必要通过本实验,让读者掌握在Windows操作系统上搭建Linux虚拟机的方法。当然,安装Linux虚拟机只是安装Linux系统的其中一种方式,实际上,读者也可以不用虚拟机,而是采用双系统的方式安装Linux系统。本教材推荐使用虚拟机方式。

(2)熟悉Linux系统的基本使用方法。本教材全部在Linux环境下进行实验,因此,需要读者提前熟悉Linux系统的基本用法,尤其是一些常用命令的使用方法。

二、实验平台

操作系统:Windows系统和Ubuntu(推荐)。

虚拟机软件:推荐使用的开源虚拟机软件为VirtualBox。VirtualBox是一款功能强大的免费虚拟机软件,它不仅具有丰富的特色,性能也很优异,且简单易用。可虚拟的系统包括Windows、Mac OS X、Linux、OpenBSD、Solaris、IBM OS2甚至Android 4.0系统等操作系统。读者可以在Windows系统上安装 VirtualBox 软件,然后在 VirtualBox 上安装并且运行 Linux 操作系统。本次实验默认的Linux发行版为Ubuntu16.04。

三、实验内容和要求

1.安装Linux虚拟机

请登录Windows系统,下载VirtualBox软件和Ubuntu16.04镜像文件。

VirtualBox软件的下载地址:https://www.virtualbox.org/wiki/Downloads。

Ubuntu 16.04的镜像文件下载地址:http://www.ubuntu.org.cn/download/desktop。

或者也可以直接到本教材官网的“下载专区”的“软件”中下载Ubuntu安装文件“ubuntukylin16.04-desktop-amd64.iso”。

首先,在Windows系统上安装虚拟机软件VirtualBox软件,然后在虚拟机软件VirtualBox上安装Ubuntu 16.04操作系统,具体请参考本教材官网的“实验指南”中的“在Windows中使用VirtualBox安装Ubuntu”。

2.使用Linux系统的常用命令

启动Linux虚拟机,进入Linux系统,通过查阅相关Linux书籍和网络资料,或者参考本教材官网的“实验指南”的“Linux系统常用命令”,完成如下操作:

(1)切换到目录/usr/bin;

(2)查看目录/usr/local下所有的文件;

(3)进入/usr目录,创建一个名为test的目录,并查看有多少目录存在;

(4)在/usr下新建目录test1,再复制这个目录内容到/tmp;

(5)将上面的/tmp/test1目录重命名为test2;

(6)在/tmp/test2目录下新建word.txt文件并输入一些字符串,保存退出;

(7)查看word.txt文件内容;

(8)将word.txt文件所有者改为root账号,并查看属性;

(9)找出/tmp目录下文件名为test2的文件;

(10)在/目录下新建文件夹test,然后在/目录下打包成test.tar.gz;

(11)将test.tar.gz解压缩到/tmp目录。

3.在Windows系统和Linux系统之间互传文件

本教材大量实验都是在Linux虚拟机上完成,因此,需要掌握如何把Windows系统中的文件上传到Linux系统,以及如何把Linux系统中的文件下载到Windows系统中。

首先,到本教材官网的“下载专区”中的“软件”目录中,下载FTP软件FileZilla的安装文件“FileZilla_3.17.0.0_win64_setup.exe”,把FileZilla安装到Windows系统中;然后,请参考本教材官网“实验指南”栏目的“在Windows系统中利用FTP软件向Ubuntu系统上传文件”,完成以下操作:

(1)在Windows系统中新建一个文本文件test.txt,并通过FTP软件FileZilla将test.txt上传到Linux系统中的“/home/hadoop/下载”目录下,利用Linux命令把该文件名修改为test1.txt;

(2)通过FTP软件FileZilla,将Linux系统中的“/home/hadoop/下载”目录下的test1.txt文件下载到Windows系统的某个目录下。

四、实验报告