本书系统、全面地介绍了大数据与Hadoop的基本概念、Hadoop安装与配置、Hadoop核心组件应用、Hadoop生态系统探索、大数据优化和维护等知识。通过学习本书，读者可以更好地理解Hadoop大数据平台部署与运维的具体实施方法与基本操作技巧。本书既可以作为培养大数据应用型人才的教材，又适用于大数据初学者和对大数据基础理论感兴趣的广大读者。

孙岳岳，济南工程职业技术学院信息工程系人工智能教研室，专业主任，负责人工智能技术专业建设及教学工作。

目录

项目1 大数据与Hadoop基础入门 1
任务1.1 大数据概述 1
学习指导 1
情景任务 1
任务准备 1
任务实施 6
扩展提高 8
评价总结 9
课后练习 9
任务1.2 Hadoop简介 10
学习指导 10
情景任务 10
任务准备 10
任务实施 15
扩展提高 17
评价总结 17
课后练习 17
项目2 Hadoop安装与配置 19
任务2.1 环境准备 19
学习指导 19
情景任务 19
任务准备 19
任务实施 26
扩展提高 44
评价总结 44
课后练习 45
任务2.2 伪分布式安装 45
学习指导 45
情景任务 46
任务准备 46
任务实施 47
扩展提高 60
评价总结 61
课后练习 61
任务2.3 全分布式安装 62
学习指导 62
情景任务 62
任务准备 63
任务实施 70
扩展提高 88
评价总结 88
课后练习 89
项目3 Hadoop核心组件应用 90
任务3.1 HDFS基础操作 90
学习指导 90
情景任务 90
任务准备 90
任务实施 93
扩展提高 96
评价总结 96
课后练习 96
任务3.2 MapReduce编程实践 97
学习指导 97
情景任务 98
任务准备 98
任务实施 102
扩展提高 108
评价总结 108
课后练习 109
项目4 Hadoop生态系统探索 110
任务4.1 YARN资源管理与调度 110
学习指导 110
情景任务 110
任务准备 110
任务实施 113
扩展提高 120
评价总结 120
课后练习 121
任务4.2 ZooKeeper应用 122
学习指导 122
情景任务 122
任务准备 122
任务实施 127
扩展提高 133
评价总结 133
课后练习 134
任务4.3 Hive应用 134
学习指导 134
情景任务 135
任务准备 135
任务实施 140
扩展提高 148
评价总结 148
课后练习 149
任务4.4 HBase应用 150
学习指导 150
情景任务 150
任务准备 150
任务实施 156
扩展提高 166
评价总结 167
课后练习 167
任务4.5 Flume应用 168
学习指导 168
情景任务 168
任务准备 168
任务实施 172
扩展提高 176
评价总结 177
课后练习 177
任务4.6 Kafka应用 178
学习指导 178
情景任务 178
任务准备 178
任务实施 180
扩展提高 189
评价总结 189
课后练习 190
项目5 大数据优化和维护 192
任务5.1 Hadoop程序优化 192
学习指导 192
情景任务 192
任务准备 192
任务实施 199
扩展提高 200
评价总结 200
课后练习 201
任务5.2 Hadoop组件性能优化 202
学习指导 202
情景任务 202
任务准备 203
任务实施 207
扩展提高 212
评价总结 212
课后练习 213
任务5.3 数据备份与恢复 213
学习指导 213
情景任务 214
任务准备 214
任务实施 215
扩展提高 224
评价总结 225
课后练习 226
任务5.4 系统及核心组件升级 226
学习指导 226
情景任务 227
任务准备 227
任务实施 235
扩展提高 243
评价总结 243
课后练习 244
课后习题 246
项目1 大数据与Hadoop基础入门 246
任务1.1 大数据概述 246
任务1.2 Hadoop简介 248
项目2 Hadoop安装与配置 249
任务2.1 环境准备 249
任务2.2 伪分布式安装 251
任务2.3 全分布式安装 254
项目3 Hadoop核心组件应用 258
任务3.1 HDFS基础操作 258
任务3.2 MapReduce编程实践 260
项目4 Hadoop生态系统探索 263
任务4.1 YARN资源管理与调度 263
任务4.2 ZooKeeper应用 264
任务4.3 Hive应用 265
任务4.4 HBase应用 267
任务4.5 Flume应用 269
任务4.6 Kafka应用 271
项目5 大数据优化和维护 272
任务5.1 Hadoop程序优化 272
任务5.2 Hadoop组件性能优化 276
任务5.3 数据备份与恢复 278
任务5.4 系统及核心组件升级 280