- 基于Hadoop与Spark的大数据开发实战
- 肖睿 丁科 吴刚山
- 1214字
- 2020-06-25 18:39:59
前言
本书以Hadoop和Spark为核心,阐述了基于这两种通用大数据处理平台的应用开发技术。
在Hadoop生态圈中,从HDFS初识分布式存储系统;以Map Reduce详解分步式计算的步骤;利用HBase分析适合非结构化数据存储的分布式数据库;利用Hive分析将SQL查询转化为分布式计算的过程;并结合项目案例“音乐排行榜”练习Hadoop核心技能点的运用;同时,介绍了几种离线处理系统中常用的辅助工具。
在Spark生态圈中,从Scala开始介绍多范式编程;并从Spark Core、Spark SQL、Spark Streaming三个方面来分析对比Hadoop生态圈中的分布式计算、Hive、流式计算的可替换方案和它们各自的优势。
技能训练
掌握Hadoop运行环境的部署。
掌握大数据文件在HDFS中的存储。
掌握Map Reduce编程模型以及Map Reduce应用开发方法。
掌握YARN的运行原理。
掌握HBase数据库的操作方法。
掌握Hive数据仓库的操作方法。
掌握常用离线处理辅助系统Sqoop和Azkaban的用法。
掌握Scala基本编程方法。
掌握Spark RDD创建与操作。
掌握Data Frame编程方法。
掌握Spark Streaming对Socket、HDFS数据进行流式处理的方法。
了解Spark Streaming与Flume、Kafka的整合。
设计思路
本书共12章,内容包括Hadoop初体验、Hadoop分布式文件系统、Hadoop分布式计算框架、Hadoop新特性、Hadoop分布式数据库、Hadoop综合实战——音乐排行榜、数据仓库Hive、大数据离线处理辅助系统、Spark基础、Spark Core、Spark SQL和Spark Streaming。具体内容安排如下。
第1章是对Hadoop的总体概述,介绍大数据基本概念、Hadoop生态圈、Hadoop与大数据的关系以及Hadoop安装部署的详细步骤。
第2章是对HDFS的介绍,主要包括HDFS的体系结构、Shell操作以及通过Java API实现访问。
第3章是对Map Reduce分布式计算框架的讲解,包括Map Reduce的编程模型、编写和运行Map Reduce程序。
第4章是对Hadoop新的资源调度框架YARN及Hadoop新特性的讲解,以及如何实现Hadoop高可用集群。
第5章是对HBase数据库的讲解,介绍HBase的安装及其使用方法。
第6章通过案例“音乐排行榜”的实现,对前面各章的技能点做一个阶段回顾与总结,介绍如何通过HDFS、Map Reduce与HBase的结合使用完成Hadoop离线批处理应用开发。
第7章是对Hive的讲解,介绍如何使用类似于SQL查询的方式来执行Map Reduce计算。
第8章介绍Sqoop、Azkaban这两种在开发离线处理系统时常用的辅助工具。
第9章是对Spark的基本介绍,包括Spark的安装与运行、Spark的开发语言Scala。
第10章是对Spark的核心RDD的详解,介绍Spark Core的编程模型以及Spark应用程序的开发。
第11章是对Spark SQL的详解,包括常用的SQL on Hadoop框架、Spark SQL的编程方法以及Spark SQL对多种外部数据源的操作。
第12章是对Spark Streaming的详解,包括Spark Streaming核心概念、常用的流处理系统,以及使用Spark Streaming进行流处理应用的开发。
章节导读
技能目标:本章要达成的学习目标,可以作为检验学习效果的标准。
本章任务:本章要完成的学习内容及要求,通过任务描述引导读者思考,进而引导读者全面了解章节内容。
案例代码:通过代码让读者掌握如何应用本章讲解的技能点。
本章总结:本章内容的概括和总结。
本章练习:针对本章学习内容的补充性练习,用于加强对本章知识的理解和运用。
本书由课工场大数据开发教研团队编写,参与编写的还有丁科、吴刚山、鄢长青、张琪等院校老师。由于编者水平有限,书中不妥或错误之处在所难免,殷切希望广大读者批评指正!
编者
2017年12月