目录 1
第 1章 机器学习引论 12
1.1 什么是人工智能 12
1.1.1 人工智能发展历程 13
1.2 什么是机器学习 20
1.2.1 机器学习的定义 21
1.2.2 机器学习的分类 21
1.2.3 机器学习就是专门研究算法？ 22
1.3 如何学习机器学习 25
1.3.1 编程能力与实践 28
1.4 本章小结 31
1.5 习题 32
34
第 2章 概率密度估计 34
2.1 频率学派与贝叶斯学派 34
2.1.1 频率学派 34
2.1.2 贝叶斯学派 35
2.2 最大似然估计和最大后验估计 36
2.2.1 最大似然估计 36
2.2.2 最大后验估计 40
2.3 特殊先验分布下的最大后验估计 42
2.3.1 高斯先验 42
2.3.2 拉普拉斯先验 42
2.4 本章小结 43
2.5 习题 43
46
第3章 感知机 46
3.1 感知机模型 46
3.2 感知机的损失函数 48
3.3 感知机的学习算法 49
3.3.2 机器学习算法的一般编程模式 50
3.4 本章小结 59
3.5 习题 59
第4章 Logistic回归 64
4.1 Logistic的物理含义 64
4.2 logistic回归的参数估计 65
4.3 评价标准 72
4.4 多类分类和归一化指数函数（Softmax函数） 75
4.5 本章小结 77
4.6 习题 78
82
第5章 支持向量机 82
5.1 从感知机到支持向量机 82
5.2 线性可分支持向量机 83
5.2.1 点到分类面的距离 83
5.2.2 最大间隔的目标函数 84
5.2.3 支持向量与间隔最大化 85
5.2.4 支持向量机的对偶算法 87
5.2.5 用KKT条件解释支持向量的稀疏性 90
5.3 线性不可分支持向量机 91
5.3.1 软间隔 91
5.3.2 对偶算法 92
5.4 非线性可分支持向量机 94
5.4.1 非线性支持向量机 95
5.4.2 核技巧与计算复杂度 96
5.5 SVM优化求解 98
5.5.1 非线性支持向量与SMO算法 98
5.5.2 线性支持向量机与Pegasos算法 99
5.6 支持向量回归 100
5.7 本章小结 102
5.8 习题 103
第6章 决策树 107
6.1 决策过程与决策树 107
6.2 建立决策树的基本原则 109
6.2.1 “纯度”与特征选择 110
6.2.2 信息增益 111
6.3 决策树生成算法 112
6.3.1 ID3算法 112
6.3.2 C4.5算法 113
6.4 决策树的剪枝 118
6.5分类回归树 128
6.6 本章小结 132
6.7 习题 132
136
第7章 集成学习 136
7.1 集成学习的原理 136
7.2 分类器优劣与泛化误差 136
7.3 Bagging算法 142
7.4 随机森林 147
7.5 Boosting 148
7.6 本章小结 157
7.7 习题 158
164
第8章 无监督学习 164
8.1 什么是无监督学习 164
8.2 均值聚类 165
8.2.1 均值算法模型 165
8.2.2 均值优化 166
8.2.3 均值的数据预处理 167
8.2.4 均值初始化 168
8.2.5 值大小的确定方法 169
8.3 基于密度的聚类 171
8.3.1 高斯混合模型的产生 171
8.3.2 高斯混合模型的梯度下降 172
8.3.3 高斯混合模型的期望最大化算法 174
8.3.4 一般情况下的期望最大化算法 176
8.3.5 majorize-minimize算法 177
8.3.6 高斯混合模型的MM算法求解 178
8.3.7 DBSCAN算法 180
8.4 层次聚类 183
8.4.1 凝聚式层次聚类 183
8.5 本章小结 184
8.6 习题 185
第 9章 降维分析 187
9.1 主成分分析 187
9.1.1 主成分分析目标函数的化简 188
9.1.2 主成分分析目标函数的优化 190
9.1.3 主成分分析的预处理 191
9.2 隐语义模型 192
9.2.1 一词一义与词频-逆词频表示 192
9.2.2 隐语义模型 193
9.2.3 概率隐语义模型 196
9.2.4 非负矩阵分解 198
9.2.5 非负矩阵分解的乘法更新法则 198
9.2.6 非负矩阵分解的梯度投影 200
9.3 本章小节 201
9.4 习题 202
第 10章 神经网络 203
10.1 神经元模型 204
10.2 多层前馈神经网络 206
10.3 本章小结 226
10.4 习题 226
第 11章 深度神经网络 227
11.1 卷积神经网络 227
11.2 循环神经网络 233
11.3 生成对抗网络 241
11.4 小结 251
11.5 习题 252