Spark SQL入门与数据分析实践-图书-人邮教育社区

内容摘要

Spark?SQL是Spark用于处理结构化数据的一个模块。本书共8章内容，由浅入深地讲解Spark?SQL的基础知识、安装部署、编程基础、编程进阶、函数、性能调优技巧以及编程实践等知识。通过本书的学习，读者能够掌握Spark?SQL核心技术。本书每章安排了习题和总结，以便使读者能更好地学习和更牢固地掌握Spark?SQL编程方法。此外，本书还提供了PPT教学课件、源代码等配套资源，供使用本书的读者下载。
本书可作为高等学校大数据、计算机、统计相关专业学生的大数据进阶课程的教材，也可供相关技术人员学习参考。

第1章 Spark SQL基础知识 1
1.1　Spark SQL背景　1
1.2　Spark SQL简介　1
1.2.1　Spark SQL的特点　2
1.2.2　Spark SQL的用途　2
1.2.3　Spark SQL的使用场景　2
1.3　为什么要学习Spark SQL　3
1.4　Spark SQL的原理　3
1.4.1　传统SQL的运行原理　3
1.4.2　Spark SQL的运行原理　4
1.4.3　Spark SQL的开发步骤　6
1.5　Spark SQL的运行模式　7
1.5.1　Local模式　7
1.5.2　Standalone模式　7
1.5.3　OnYarn模式　8
小结　11
习题　11
第2章　Spark SQL安装部署　12
2.1　运行环境说明　12
2.1.1　操作系统说明　12
2.1.2　Java版本说明　12
2.1.3　Scala版本说明　12
2.1.4　操作系统客户端工具说明　13
2.2　运行环境准备　13
2.2.1　依赖下载　13
2.2.2　安装Java　14
2.2.3　安装Scala　14
2.3　部署Spark SQL　15
2.3.1　下载安装包　15
2.3.2　单机部署　15
2.3.3　集群部署　16
2.3.4　运行环境参数　21
小结　23
习题　23
第3章　第一个Spark SQL应用程序　24
3.1　搭建开发环境　24
3.1.1　下载开发工具　24
3.1.2　安装IDEA　25
3.2　编写Spark SQL应用程序　26
3.2.1　Spark SQL应用程序的编写
步骤　27
3.2.2　编写第一个Spark SQL应用
程序　27
3.2.3　运行第一个Spark SQL应用
程序　38
小结　44
习题　44
第4章　Spark SQL编程基础　45
4.1　RDD概述　45
4.1.1　RDD的优缺点　45
4.1.2　RDD模型介绍　46
4.2　深入剖析RDD　47
4.2.1　Spark相关专业术语定义　47
4.2.2　Spark Application的构成　55
4.2.3　Spark运行的基本流程　55
4.2.4　Spark运行架构的特点　56
4.2.5　Spark核心原理　58
4.3　创建RDD　62
4.4　RDD操作　65
4.4.1　RDD转换操作　65
4.4.2　RDD控制操作　72
4.4.3　RDD行动操作　73
4.5　RDD持久化　76
4.5.1　持久化优势　77
4.5.2　持久化策略　77
4.6　RDD容错机制　78
4.6.1　lineage机制　78
4.6.2　checkpoint机制　79
小结　81
习题　81
第5章　Spark SQL编程进阶　82
5.1　概述　82
5.2　SparkSession　82
5.2.1　SparkSession介绍　82
5.2.2　创建SparkSession　82
5.2.3　SparkSession参数设置　85
5.2.4　SparkSession元信息读取　85
5.3　DataFrame　85
5.3.1　深入理解DataFrame　86
5.3.2　DataFrame的优缺点　86
5.3.3　DataFrame的演变过程　87
5.3.4　DataFrame的使用形式　89
5.3.5　创建DataFrame　89
5.3.6　DataFrame操作　102
5.3.7　DataFrame持久化　114
5.3.8　DataFrame实例　117
5.4　DataSet　120
5.4.1　深入理解DataSet　120
5.4.2　DataSet的优点　120
5.4.3　创建DataSet　121
5.4.4　DataSet操作　121
5.4.5　DataSet持久化　122
5.5　数据抽象的共性与区别　122
5.5.1　3种数据抽象的共性　123
5.5.2　3种数据抽象的区别　123
5.6　数据抽象的相互转换　123
5.6.1　将RDD转换为DataFrame　124
5.6.2　将DataFrame转换为
DataSet　124
5.6.3　将DataSet转换为
DataFrame　124
小结　125
习题　125
第6章　Spark SQL函数　126
6.1　用户定义函数　126
6.1.1　注册UDF　126
6.1.2　使用UDF　126
6.1.3　UDF实例　127
6.2　用户定义聚合函数　128
6.2.1　注册UDAF　129
6.2.2　使用UDAF　129
6.2.3　UDAF实例　129
6.3　常用内置函数　131
小结　131
习题　131
第7章　Spark SQL性能调优　133
7.1　概述　133
7.1.1　木桶原理　133
7.1.2　阿姆达尔定律　134
7.2　并行度调优　134
7.2.1　什么是并行度　134
7.2.2　为什么需要对并行度进行
调优　134
7.2.3　如何合理设置并行度　135
7.3　内存调优　135
7.3.1　为什么需要对内存进行
调优　136
7.3.2　如何充分使用内存　136
7.4　磁盘I/O调优　137
7.4.1　为什么需要对磁盘I/O进行
调优　137
7.4.2　如何充分使用磁盘I/O　138
7.5　网络I/O调优　139
7.5.1　为什么需要对网络I/O进行
调优　139
7.5.2　如何充分使用网络I/O　139
小结　140
习题　140
第8章　Spark SQL编程实践　141
8.1　Spark SQL实践一——学生考试
信息分析　141
8.2　Spark SQL实践二——生鲜电商
交易数据分析　142
8.3　Spark SQL实践三——四川省
新生婴儿信息分析　144
小结　152
附录　153
附录1　常用内置函数　153
附录1.1　常用聚合函数　153
附录1.2　常用排序函数　156
附录1.3　常用字符串函数　157
附录1.4　常用时间函数　162
附录1.5　常用数学函数　167
附录1.6　常用集合函数　170
附录1.7　其他常用函数　172
附录2　常用高阶函数　173
附录2.1　transform函数　173
附录2.2　aggregate函数　174
附录2.3　filter函数　174
附录2.4　exists函数　175
附录2.5　zip_with函数　175
附录3　术语解释　175