大数据基本处理框架原理与实践_刘春_9787111694939

本书针对大数据处理的两种典型方式,即批处理和流处理，介绍了当前Apache软件基金会三大软件开源项目Hadoop、Spark和Storm中主要的存储及计算框架。本书从初学者的角度出发，聚焦于大数据处理框架的基本原理以及安装和部署等实践过程。通过本书的学习，读者在了解处理框架的结构、设计原理以及执行流程等原理性知识的同时，还可以结合本书给出的完整部署过程以及WordCount等示例的完整源代码，熟悉如何使用这些处理框架来编写大数据处理程序以及大数据处理程序的基本结构。
本书配套PPT、源代码等资源，欢迎选用本书作为教材的老师登录机工教育服务网www.cmpedu.com注册下载。
本书可作为高等院校计算机、数据科学与大数据技术及人工智能或相关专业的本科生或研究生教材，也可供相关工程技术人员阅读参考。

随着手机和摄像头等大量移动设备的使用、Web 2.0和社交网络带来的数据产生方式的转变，以及云计算、Hadoop、Spark等的出现，大数据越来越多地对人们的生活、企业的运营以及国家的治理和安全产生深远的影响。在这种情况下，研究大数据处理技术，培养大数据专业人才得到了国家和社会各界的广泛重视。当前，已经有越来越多的高校开设数据科学与大数据技术专业，也有越来越多的人学习大数据处理技术。
1本书的定位
对于初次接触大数据处理技术的读者来说，了解大数据处理框架的基本原理并能够搭建运行和开发环境，编写简单的应用代码，进而掌握大数据处理程序的基本结构与编写流程，往往是有难度的。
本书面向大数据处理技术的初学者，在介绍大数据处理框架的结构、设计原理以及执行流程等原理性知识的同时，还给出了大数据处理框架的完整安装过程以及WordCount等示例的完整程序代码，并对代码进行详细的注释说明。本书强调完整的安装过程和示例代码，可以省去读者查找安装过程、代码以及调试代码Bug所带来的麻烦。在介绍安装过程和示例代码的过程中尽可能地对大数据处理框架涉及的诸如Linux命令、文件系统、分布式日志收集工具Flume等相关知识点进行了简单的介绍，可节省读者了解相关背景知识所需要的时间。
2本书的主要内容
本书主要聚焦于大数据处理的两种主要方式，即批处理和流处理，介绍当前Apache软件基金会的三大软件开源项目Hadoop、Spark和Storm中的主要存储和计算组件。由于Hadoop与Spark的组件众多，从实际应用开发者的角度出发，针对Hadoop主要介绍HDFS、MapReduce和HBase三个组件，针对Spark主要介绍Spark的核心框架以及Spark应用于流处理的Spark Streaming组件。
HDFS、MapReduce和HBase是Hadoop的核心组件。HDFS是Hadoop的分布式文件系统，HBase是Hadoop的分布式数据库，两者主要解决的是大数据的可靠存储。MapReduce和Spark的核心框架主要应用于大数据的批处理。Spark作为MapReduce之后发布的批处理框架，弥补了MapReduce的一些局限性，具有了更强的计算表达能力以及更快的处理速度。但是，本书仍然对MapReduce进行介绍，这是因为Spark的设计借鉴了MapReduce，理解MapReduce有助于更好地理解Spark。
对于流处理框架，将介绍Spark Streaming和Storm。两者代表了实际中两种不同的流处理方式。Spark Streaming基于Spark核心框架的批处理功能将数据流分成不同的时间片段，然后针对每个时间片段的数据进行批处理。因此，Spark Streaming对数据流的处理过程并不是完全的实时处理，而Storm采取的是实时处理。
本书的所有安装和运行过程都是在单机的一个虚拟机中完成的，方便读者进行实践。所有的安装过程和程序代码都经过作者的亲自实践，但是编写这些安装过程和代码时可能出现错误，如果在学习过程中发现问题，请联系作者，邮箱为liuchun@henu.edu.cn。

刘春
河南省时空大数据产业技术研究院
大数据基本处理框架原理与实践

我要评论