01
人工智能基础
1.1　人工智能概述　2
1.1.1　人工智能的层次结构　2
1.1.2　人工智能的典型事件　7
1.2　人工智能数学基础　9
1.2.1　矩阵及其运算　10
1.2.2　向量与向量空间　14
1.2.3　特征值与特征向量　16
1.2.4　奇异值分解　19
1.2.5　二次型　19
1.2.6　范数　20
1.2.7　导数与偏导数　21
1.2.8　方向导数与梯度　24
1.2.9　泰勒公式　26
1.2.10　函数的极值点　28
1.2.11　随机变量与概率
分布　29
1.2.12　随机变量的数字
特征　32
1.3　本章小结　34
1.4　习题　34
02
机器学习基础
2.1　机器学习概述　36
2.1.1　机器学习的定义　36
2.1.2　机器学习的分类　37
2.1.3　常用损失函数　39
2.2　分类与回归　41
2.3　模型的评估　45
2.3.1　数据集的划分方法　45
2.3.2　模型的评价指标　47
2.4　模型的选择　50
2.4.1　欠拟合与过拟合　50
2.4.2　偏差与方差　51
2.4.3　正则化　52
2.5　本章小结　52
2.6　习题　53

03
深度学习主要框架
3.1　TensorFlow原理与应用　55
3.1.1　安装与编译　55
3.1.2　TensorFlow框架结构
分析　56
3.1.3　TensorFlow原理与方法　58
3.1.4　案例应用　64
3.2　其他框架　72
3.2.1　Keras　72
3.2.2　Caffe　74
3.2.3　PyTorch　75
3.2.4　其他框架　76
3.3　本章小结　76
3.4　习题　77

04
深度神经网络
4.1　深度神经网络概述　79
4.2　网络结构设计　80
4.2.1　架构设计　80
4.2.2　隐藏层　81
4.2.3　XOR的案例展示　82
4.3　前向传播算法　82
4.4　反向传播算法　84
4.4.1　梯度下降算法与学习率　85
4.4.2　反向传播算法的优点　86
4.4.3　反向传播相关计算公式　88
4.4.4　使用链式法则推导　90
4.5　常用的优化算法　91
4.5.1　随机梯度下降算法和小批量
梯度下降算法　92
4.5.2　动量法　92
4.5.3　Adagrad算法　93
4.6　常用的正则化方法　94
4.6.1　范数惩罚法　94
4.6.2　稀疏表示法　95
4.6.3　其他方法　95
4.7　案例应用　96
4.8　本章小结　102
4.9　习题　102

05
卷积神经网络
5.1　卷积神经网络的发展历程　104
5.2　卷积层　104
5.2.1　为什么使用卷积　104
5.2.2　卷积运算　105
5.2.3　卷积核　106
5.2.4　填充和步长　108
5.2.5　激活函数　109
5.3　池化层　109
5.3.1　池化原理　110
5.3.2　池化方法　110
5.4　全连接层　110
5.5　经典的卷积神经网络结构　111
5.5.1　AlexNet　112
5.5.2　VGGNet　113
5.5.3　ResNet　116
5.5.4　YOLO　118
5.5.5　其他卷积神经网络结构　120
5.6　案例应用　120
5.6.1　案例内容　120
5.6.2　快速上手　121
5.6.3　如何训练　121
5.7　本章小结　124
5.8　习题　124

06
循环神经网络
6.1　循环神经网络概述　126
6.2　简单循环神经网络　128
6.3　双向循环神经网络　129
6.4　基于编码-解码的序列到序列
结构　130
6.4.1　序列到序列结构　130
6.4.2　编码-解码结构　131
6.4.3　目标函数　132
6.4.4　注意力机制　133
6.5　训练方法　134
6.6　长短期记忆网络　137
6.6.1　核心思想　137
6.6.2　网络结构　137
6.6.3　LSTM网络的训练原理　140
6.6.4　相关变体　140
6.7　案例应用　140

6.8　本章小结　149
6.9　习题　149

07
自编码器与生成对抗网络
7.1　自编码器　151
7.1.1　自编码器概述　151
7.1.2　欠完备自编码器　151
7.1.3　正则自编码器　152
7.1.4　卷积自编码器　155
7.1.5　使用Keras实现简单的
自编码器　157
7.2　生成对抗网络　160
7.2.1　GAN概述　160
7.2.2　一般的GAN　160
7.2.3　CGAN　163
7.2.4　DCGAN　165
7.3　本章小结　168
7.4　习题　168
参考文献　169