目录
第 1章 深度学习简介及TensorFlow安装 1
【学习目标】 1
【导言】 1
1.1 机器学习、深度学习与人工智能 2
1.1.1 机器学习 2
1.1.2 深度学习 3
1.1.3 机器学习与深度学习同人工智能的关系 4
1.2 深度学习与回归分析 5
1.2.1 回归分析理论框架 5
1.2.2 深度学习与回归分析的联系 6
1.3 深度学习的发展历程 7
1.4 深度学习擅长的领域 9
1.4.1 图像处理 9
1.4.2语音识别 12
1.4.3自然语言处理 12
1.4.4棋牌竞技 13
1.4.5视频处理 14
1.5 安装TensorFlow 14
1.5.1 TensorFlow和Keras介绍 15
1.5.2 硬件环境准备 15
1.5.3 软件环境准备 16
1.5.4 安装Anaconda 17
1.5.5 安装TensorFlow及Keras软件包 17
1.5.6 Jupyter Notebook运行深度学习 19
课后习题 20
第 2章 神经网络基础 21
【学习目标】 21
【导言】 21
2.1 神经网络模型介绍 21
2.1.1 M-P神经元模型 22
2.1.2 感知机模型 23
2.1.3 多层感知机模型 24
2.2 激活函数 25
2.2.1 sigmoid激活函数 26
2.2.2 tanh激活函数 27
2.2.3 Relu激活函数 28
2.3 神经网络的训练 29
2.3.1 神经网络的训练流程 29
2.3.2 前向传播算法 31
2.3.3 损失函数 32
2.3.4 基于梯度下降算法的预备知识 33
2.3.5批量梯度下降算法（Mini-batch） 35
2.3.6批量梯度下降算法的改进 36
2.3.7 反向传播算法 38
2.4 神经网络的过拟合及处理方法 40
2.4.1 过拟合 41
2.4.2 正则化方法 42
2.4.3 Dropout方法 44
课后习题 46
第3章 神经网络的TensorFlow实现 47
【学习目标】 47
【导言】 47
3.1 神经网络的数据结构 47
3.1.1 张量及其分类 47
3.1.2 张量数据示例 49
3.2 图像数据的存储与运算 51
3.2.1图像数据的读入与展示 52
3.2.2 图像数据的代数运算 54
3.3线性回归模型的TensorFlow实现 55
3.3.1 线性回归模型 55
3.3.2 案例：美食评分 56
3.4 逻辑回归模型的TensorFlow实现 63
3.4.1 逻辑回归模型 63
3.4.2 Softmax回归模型 64
3.4.3 案例：手写数字识别 65
课后习题 70
第4章 卷积神经网络基础 71
【学习目标】 71
【导言】 71
4.1 卷积神经网络的基本结构 71
4.2 “卷积”与“池化”的通俗理解 72
4.2.1 对卷积的理解 72
4.2.2 对池化的理解 73
4.3 卷积 74
4.3.1 二维离散卷积 75
4.3.2 卷积结果的输出尺寸 80
4.3.3 多深度的离散卷积 81
4.3.4 卷积运算的三个特性 90
4.4 池化操作 92
4.4.1 same池化 92
4.4.2 valid池化 99
课后习题 105
第5章 经典卷积神经网络（上） 106
【学习目标】 106
【导言】 106
5.1 LeNet-5介绍 107
5.1.1 LeNet-5网络结构 107
5.1.2 案例：LeNet-5手写数字识别 108
5.2 AlexNet介绍 113
5.2.1 AlexNet网络结构 113
5.2.2 AlexNet创新点 114
5.2.3 案例：中文字体识别——隶书和行楷 115
5.3 VGG介绍 119
5.3.1 VGG网络结构 119
5.3.2 案例：加利福尼亚理工学院鸟类数据库分类 121
5.4 Batch Normalization技巧 127
5.4.1 Batch Normalization核心思想 127
5.4.2 带有BN的逻辑回归 128
5.4.3 带有BN的宽度模型 131
5.4.4 带有BN的深度模型 133
5.5 Data Augmentation技巧 135
5.5.1 Data Augmentation核心思想 135
5.5.2 数据增强实例：猫狗分类 136
课后习题 140
第6章 经典卷积神经网络（下） 141
【学习目标】 141
【导言】 141
6.1 Inception模型介绍 141
6.1.1 Inception网络结构 142
6.1.2 案例：Flower分类 147
6.2 ResNet模型介绍 150
6.2.1 ResNet网络结构 150
6.2.2 案例：花的三分类问题 154
6.3 DenseNet模型介绍 158
6.3.1 DenseNet网络结构 158
6.3.2案例：性别区分 163
6.4 MobileNet模型介绍 167
6.4.1 MobileNet网络结构 167
6.4.2 案例：狗的分类 172
6.5 迁移学习 176
6.5.1 深度学习的现实困难 176
6.5.2 迁移学习原理 177
6.5.3 Keras中的迁移学习模型 178
课后习题 182
第7章 深度学习用于文本序列 183
【学习目标】 183
【导言】 183
7.1词嵌入 184
7.1.1 词嵌入前期知识 184
7.1.2 词嵌入的理论原理 187
7.1.3词嵌入的程序实现 189
7.2机器“作诗”初级：逻辑回归 192
7.2.1 机器“作诗”原理 192
7.2.2原理实现：数据处理 195
7.2.3原理实现：逻辑回归 200
7.3机器“作诗”进阶（1）：RNN 205
7.3.1 RNN前期知识 206
7.3.2 RNN模型介绍 208
7.3.3原理实现：数据处理 209
7.3.4原理实现：RNN作诗 213
7.4 机器“作诗”进阶（2）：LSTM 216
7.4.1 LSTM前期知识 216
7.4.2 LSTM模型介绍 219
7.4.3 原理实现：数据准备 224
7.4.4原理实现：LSTM代码实现 225
7.5 文本序列应用实例：机器翻译 228
7.5.1机器翻译原理 228
7.5.2 案例：中英文翻译 234
课后习题 242
第8章 深度学习实验项目 243
【学习目标】 243
【导言】 243
8.1实验一：LeNet模型 244
8.2实验二：AlexNet模型 244
8.3 实验三：VGG 16模型 244
8.4 实验四：Inception V3模型 245
8.5 实验五：ResNet模型 245
8.6 实验六：DenseNet模型 246
8.7 实验七：MobileNet模型 246
8.8 实验八：逻辑回归作诗 247
8.9 实验九：RNN模型作诗 247
8.10 实验十：LSTM模型作诗 248