第 1章 大数据及Python概述 1
1.1 大数据的发展和现状 1
1.1.1 大数据的产生 1
1.1.2 大数据的发展历程 2
1.1.3 大数据国内外发展现状 4
1.2 大数据的概念 5
1.2.1 数据量大 5
1.2.2 数据类型繁多 6
1.2.3 处理速度快 7
1.2.4 价值密度低 8
1.3 大数据的应用 8
1.4 大数据的关键技术 9
1.4.1 大数据采集技术 9
1.4.2 大数据预处理技术 10
1.4.3 大数据存储及管理技术 10
1.4.4 大数据分析及挖掘技术 10
1.4.5 大数据展现与应用技术 11
1.5 大数据分析的现状和步骤 12
1.5.1 大数据分析的现状 12
1.5.2 大数据分析创造价值的步骤 13
1.6 Python在大数据应用中的重要性 14
1.7 Python与数据分析的关系 14
1.7.1 数据分析 14
1.7.2 数据分析的基本步骤 15
1.7.3 Python与数据分析 16
1.7.4 数据分析相关的Python库 16
思考与练习 18
第 2章 Python基础知识 19
2.1 Python概述 19
2.1.1 Python语言的发展历程 19
2.1.2 Python的特点 20
2.1.3 Python的下载、安装与使用 22
2.1.4 Anaconda开发环境的安装和使用 26
2.2 基础数据类型 30
2.2.1 数字 30
2.2.2 字符串 31
2.3 常量与变量 33
2.4 运算符与表达式 34
2.4.1 算术运算符 35
2.4.2 关系运算符 35
2.4.3 逻辑运算符 36
2.4.4 位运算符 36
2.4.5 成员和身份运算符 36
2.4.6 赋值运算符 37
2.5 常用Python内置函数 37
2.5.1 基本输入/输出函数 38
2.5.2 常用转换函数 39
2.5.3 常用数学函数 40
2.5.4 其他常用函数 40
思考与练习 42
第3章 程序流程控制结构 43
3.1 顺序结构 43
3.2 分支结构 44
3.2.1 单分支结构 44
3.2.2 双分支结构 45
3.2.3 多分支选择结构 46
3.2.4 分支结构的嵌套 48
3.3 循环结构 49
3.3.1 while 语句 49
3.3.2 for 语句 50
3.3.3 循环控制语句 51
3.3.4 循环嵌套 53
思考与练习 54
第4章 常用组合数据类型 55
4.1 列表 55
4.1.1 列表的创建 55
4.1.2 列表的基本操作 56
4.1.3 列表常用方法 58
4.1.4 列表操作符 63
4.1.5 内置函数对列表的操作 64
4.1.6 切片操作 65
4.1.7 列表应用举例 67
4.2 元组 69
4.2.1 元组的创建 69
4.2.2 元组的基本操作 69
4.2.3 元组运算符 70
4.2.4 元组和列表的区别 70
4.2.5 元组应用举例 71
4.3 字典 72
4.3.1 字典的创建 72
4.3.2 字典的基本操作 73
4.3.3 字典常用方法 74
4.3.4 字典应用举例 75
4.4 集合 76
4.4.1 集合的创建 76
4.4.2 集合的基本操作 77
4.4.3 集合常用方法 77
4.4.4 集合运算符 79
4.4.5 集合应用举例 80
思考与练习 81
第5章 函数与模块 82
5.1 函数概述 82
5.1.1 函数的功能 82
5.1.2 函数分类 82
5.2 函数的定义和调用 82
5.2.1 函数的定义和调用 82
5.2.2 函数的返回值 83
5.2.3 lambda表达式 84
5.3 函数的参数 85
5.3.1 形参和实参 85
5.3.2 参数的传递 86
5.3.3 参数类型 87
5.4 变量的作用域 88
5.4.1 局部变量 88
5.4.2 全局变量 88
5.5 函数的递归调用 89
5.6 模块 91
5.6.1 导入模块 91
5.7 常用标准模块 92
5.7.1 math模块 93
5.7.2 time 模块 93
5.7.3 datetime模块 95
5.7.4 calendar模块 98
5.7.5 random库 99
思考与练习 99
第6章 面向对象程序设计 101
6.1 面向对象概述 101
6.1.1 面向对象程序设计基础 101
6.1.2 类和对象 102
6.2 类的定义与使用 102
6.2.1 定义类 102
6.2.2 创建类的实例 102
6.2.3 构造方法和析构方法 103
6.2.4 类变量和实例变量 104
6.2.5 访问限制 105
6.2.6 实例方法、类方法和静态方法 106
6.3 继承 108
6.3.1 类的继承 108
6.3.2 子类和父类的关系 110
6.3.3 方法重写 111
6.3.4 子类继承父类的构造方法 111
6.3.5 多重继承 112
6.4 多态 113
6.5 特殊变量、方法与运算符重载 114
6.5.1 特殊变量和方法 114
6.5.2 运算符重载 116
思考与练习 117
第7章 文件相关操作 118
7.1 文件的类型 118
7.2 文本文件和二进制文件的操作方法 118
7.2.1 打开和关闭文件 118
7.2.2 文件对象常用操作 119
7.2.3 上下文管理语句 121
7.3 CSV和json文件的操作方法 122
7.3.1 数据的维度 122
7.3.2 CSV文件操作 122
7.3.3 JSON文件操作 125
思考与练习 127
第8章 数据预处理和数据分析 129
8.1 了解数据 129
8.2 数据质量 130
8.2.1 完整性 131
8.2.2 一致性 131
8.2.3 准确性 132
8.2.4 及时性 132
8.3 数据预处理 132
8.3.1 数据清洗 133
8.3.2 数据集成 136
8.3.3 数据转换 136
8.3.4 数据消减 137
8.4 特征工程 138
8.4.1 特征选择 138
8.4.2 特征构建 139
8.5 数据分析 140
8.5.1 数据分析常用分析思维模式 140
8.5.2 数据分析的经典算法 142
思考与练习 152
第9章 使用Numpy进行数据分析 154
9.1 NumPy概述 154
9.2 NumPy Ndarray对象 154
9.3 NumPy 数据类型 156
9.4 NumPy 数组属性 158
9.5 NumPy 创建数组 160
9.6 NumPy 从数值范围创建数组 161
9.7 NumPy 切片和索引 162
9.8 Numpy 数组操作 164
9.8.1 修改数组形状 164
9.8.2 数组元素的添加与删除 166
9.9 NumPy字符串函数 171
9.10 NumPy Matplotlib 172
9.10.1 安装 Matplotlib 172
9.10.2 图形中文显示 173
9.10.3 绘制正弦波。 175
9.10.4 在同一图中绘制多张子图 176
9.10.5 生成条形图 176
9.10.6 频率分布图 177
9.10.7 将直方图的数字表示转换为图形 177
思考与练习 178
第 10章 使用Pandas处理结构化数据 179
10.1 Pandas数据结构Series 179
10.1.1 Series基本概念及创建 179
10.1.2 Series的索引 180
10.1.3 Series的基本技巧 182
10.2 Pandas数据结构Dataframe 183
10.2.1 基本概念及创建 183
10.2.2 Dataframe的索引 184
10.2.3 Dataframe的基本技巧 188
10.3 Pandas时间模块 191
10.4 Pandas时刻数据 192
10.5 Pandas时间戳索引：DatetimeIndex 193
10.6 Pandas时期：Period 196
10.7 时间序列 - 索引及切片 196
10.8 时间序列 - 重采样 198
10.9 数值计算和统计基础 203
10.10 文本数据 206
10.11 合并 211
10.12 连接与修补 212
10.13 去重及替换 214
10.14 数据分组 216
10.15 数据读取 217
思考与练习 218
第 11章 使用Numpy和Pandas对数据进行预处理 219
11.1 缺失值处理 219
11.1.1 判断是否是缺失值：isnull，notnull 219
11.1.2 删除缺失值：dropna 220
11.1.3 填充/替换缺失数据：fillna、replace 221
11.1.4 4. 缺失值插补 223
11.2 异常值分析和处理 225
11.2.1 正态分布3σ原则 225
11.2.2 箱型图分析 227
11.3 数据归一化/标准化 228
11.3.1 0-1标准化 229
11.3.2 Z-score标准化 229
11.4 数据连续属性离散化 230
11.4.1 等宽法 230
11.4.2 等频法 232
11.5 数据预处理案例：分析各省市各年度的流感人口数据 233
11.5.1 数据介绍和任务要求 233
11.5.2 流感数据的读取与清洗 233
11.5.3 检查数据 236
11.5.4 人口数据的清洗与重塑 238
11.5.5 拼接数据 240
思考与练习 241
第 12章 使用Scikit-learn进行机器学习 242
12.1 常用模块 242
12.1.1 分类方法 242
12.1.2 回归方法 246
12.1.3 聚类方法 248
12.1.4 模型选择 250
12.2 机器学习选择算法的策略 250
12.3 机器学习案例——识别 Iris（鸢尾花）类别 251
12.3.1 加载数据 251
12.3.2 数据可视化 252
12.3.3 使用逻辑回归分类器识别 253
12.3.4 可视化模型结果 254
思考与练习 255
第 13章 综合案例 256
13.1 综合案例1 USDA食品数据库简单分析食品的营养成分 256
13.1.1 数据介绍和任务要求 256
13.1.2 数据预处理和数据拼接 257
13.1.3 数据分析 260
13.2 综合案例2 利用泰坦尼克号数据进行生还者分析 261
13.2.1 泰坦尼克号问题之背景 261
13.2.2 问题解决方法 261
13.2.3 数据分析 262
13.2.4 逻辑回归建模 272
13.2.5 交叉验证 275
13.2.6 学习曲线 276
13.2.7 总结 279
思考与练习 279