目录

第 1章
Hadoop概述 1
1.1 Hadoop简介 1
1.2 Hadoop体系架构 3
1.2.1 Hadoop基础架构 3
1.2.2 Hadoop生态系统 3
1.3 Hadoop与分布式开发 5
1.4 Hadoop行业应用案例分析 6
1.4.1 Hadoop在门户网站中的应用 6
1.4.2 Hadoop在搜索引擎中的应用 7
1.4.3 Hadoop在电商平台中的应用 7
习题 8

第 2章
Hadoop的安装、配置与
管理 9
2.1 实验准备 9
2.2 配置一个单节点环境 10
2.2.1 运行一个虚拟环境CentOS 10
2.2.2 配置网络 11
2.2.3 创建新的用户组和用户 15
2.2.4 上传文件到CentOS并配置
Java和Hadoop环境 16
2.2.5 修改Hadoop 3.2配置文件 19
2.2.6 修改CentOS主机名 22
2.2.7 绑定hostname与IP地址 22
2.2.8 关闭防火墙 23
2.3 节点之间的免密码登录 23
2.3.1 什么是SSH 23
2.3.2 复制虚拟机节点 24
2.3.3 配置SSH免密码登录 25
2.4 Hadoop的启动和测试 27
2.4.1 格式化文件系统 27
2.4.2 启动HDFS 28
2.4.3 启动YARN 29
2.4.4 启动JobHistory Server 29
2.4.5 集群验证 30
2.4.6 需要了解的默认配置 31
2.5 动态管理节点 32
2.5.1 动态增加和删除DataNode 32
2.5.2 动态修改TaskTracker 33
习题 34

第3章
HDFS技术 36
3.1 HDFS的特点 36
3.2 HDFS架构 37
3.2.1 数据块 38
3.2.2 NameNode与DataNode 39
3.2.3 辅助NameNode 40
3.2.4 安全模式与负载均衡 42
3.2.5 垃圾回收 43
3.3 HDFS Shell命令 44
3.3.1 文件处理命令 44
3.3.2 交互式命令 49
3.4 HDFS中Java API的使用 53
3.4.1 上传文件 54
3.4.2 新建文件 55
3.4.3 查看文件详细信息 56
3.4.4 下载文件 57
3.5 RPC通信 58
3.5.1 反射机制 59
3.5.2 代理模式与动态代理 62
3.5.3 Hadoop RPC机制与源码
分析 64
习题 68

第4章
YARN技术 69
4.1 YARN概述 69
4.1.1 YARN产生背景——MRv1的
局限性 69
4.1.2 YARN的通信协议 70
4.2 YARN基本框架 71
4.3 YARN资源调度器 73
4.4 YARN的工作流程 74
4.5 YARN的实战案例 76
习题 79

第5章
MapReduce技术 80
5.1 什么是MapReduce 80
5.2 MapReduce编程模型 81
5.2.1 MapReduce模型简介 81
5.2.2 MapReduce模型分类 82
5.2.3 MapReduce编程实例
——WordCount 83
5.3 MapReduce数据流 84
5.3.1 分片并格式化原始数据
（InputFormat） 84
5.3.2 Map过程 86
5.3.3 Shuffle过程 86
5.3.4 Reduce过程 91
5.3.5 按指定格式写入文件
（OutputFormat） 92
5.4 MapReduce任务流程 92
5.5 MapReduce的Streaming和
Pipe 93
5.5.1 Hadoop Streaming 93
5.5.2 Hadoop Pipe 95
5.6 MapReduce性能调优 96
5.7 MapReduce实战 98
5.7.1 快速入门 98
5.7.2 简单使用Eclipse插件 110
习题 118

第6章
Hadoop I/O操作 119
6.1 HDFS数据完整性 119
6.1.1 校验和 119
6.1.2 运行后台进程来检测数据块 120
6.2 基于文件的数据结构 121
6.2.1 SequenceFile的存储 121
6.2.2 MapFile的存储 125
6.2.3 SequenceFile转换为
MapFile 128
6.3 压缩 129
6.3.1 认识压缩 129
6.3.2 Codec 130
6.3.3 本地库 132
6.3.4 如何选择压缩格式 133
6.4 序列化 134
6.4.1 认识序列化 134
6.4.2 Writable接口 135
6.4.3 WritableComparable接口 136
6.4.4 Hadoop Writable基本类型 137
6.4.5 自定义Writable类型 142
习题 144

第7章
海量数据库技术HBase 145
7.1 初识HBase 145
7.2 HBase表视图 146
7.2.1 概念视图 146
7.2.2 物理视图 147
7.3 HBase物理存储模型 148
7.4 安装HBase 154
7.4.1 HBase单节点安装 154
7.4.2 HBase伪分布式安装 157
7.4.3 HBase完全分布式安装 158
7.5 HBase Shell 160
7.5.1 HBase Shell的命令 160
7.5.2 general操作 162
7.5.3 DDL操作 163
7.5.4 DML操作 165
7.6 HBase操作实践 167
习题 170

第8章
ZooKeeper技术 171
8.1 分布式协调技术及其实现者 171
8.2 ZooKeeper基本架构 172
8.3 ZooKeeper数据模型 173
8.3.1 Znode 173
8.3.2 ZooKeeper中的时间 174
8.3.3 Znode属性 175
8.3.4 watch触发器 176
8.4 ZooKeeper集群安装 177
8.5 ZooKeeper的主要Shell
操作 179
8.6 典型应用场景 180
8.6.1 数据发布与订阅 180
8.6.2 统一命名服务 182
8.6.3 分布式通知/协调 182
习题 183

第9章
分布式数据仓库技术Hive 184
9.1 Hive出现的原因 184
9.2 Hive服务的组成 185
9.3 Hive的安装 186
9.3.1 Hive基本安装 186
9.3.2 MySQL的安装 187
9.3.3 Hive的配置 188
9.4 Hive Shell 191
9.5 HQL的概念和使用 192
9.5.1 认识HQL 192
9.5.2 Hive管理数据方式 192
9.5.3 Hive表的DDL操作 194
9.5.4 Hive表的DML操作 203
9.6 使用Hive实现聊天数据分析
案例 207
习题 210

第 10章
Hadoop与RDBMS数据迁移
工具Sqoop 211
10.1 Sqoop简介及基本安装 211
10.2 Sqoop的配置 212
10.3 Sqoop的相关功能 213
10.3.1 Sqoop的工具命令 213
10.3.2 Sqoop与MySQL 214
10.3.3 sqoop-import操作 215
10.3.4 sqoop-import-all-tables
操作 220
10.3.5 sqoop-export操作 222
10.3.6 sqoop-list-databases和
sqoop-list-tables操作 224
10.4 Hive、Pig和Sqoop三者之间
的关系 224
10.5 基于Sqoop的MySQL和Hive
之间的数据迁移实操案例 225
习题 228

第 11章
大数据实时处理技术 229
11.1 Flink 229
11.1.1 Flink架构 230
11.1.2 Flink部署 231
11.1.3 Flink的运行架构 235
11.1.4 Flink流处理API 238
11.2 Spark 239
11.2.1 Apache Spark架构 239
11.2.2 Apache Spark的扩展
功能 241
11.3 Flink与Spark异同 243
习题 244