机器学习作为人工智能的一个分支，它涵盖了利用技术使计算机能够从数据中识别问题并将其应用于人工智能程序的方法。本书是机器学习领域的入门教材，系统、详细地讲述机器学习的主要方法与理论，阐明算法的运行过程，并紧密结合企业实践与应用，根据企业实际需求设计算法案例。本书共11章，分别介绍机器学习基本概念、决策树、K最近邻算法、支持向量机、线性模型、贝叶斯分类器、数据降维、聚类算法、人工神经网络、随机森林等基础模型或算法。本书通过具体的案例让读者学到思考问题的方式，包括决策树算法案例、K最近邻算法案例、SVM算法案例、logistic回归算法案例、贝叶斯分类器案例、数据降维算法案例、聚类算法案例、人工神经网络案例、随机森林案例，帮助读者了解机器学习的各种算法，让读者真正理解算法、学会使用算法。对于计算机科学、人工智能及其相关专业的本科生与研究生而言，本书是入门及深入学习的理想选择；同时，对于致力于人工智能产品研发的工程技术人员来说，本书极具参考价值。

刘佳琦，副教授，博士，内蒙古赤峰人，CCF会员。2005年6月毕业于中南大学计算机科学与技术专业，获学士学位；2008年6月毕业于中南大学计算机应用技术专业，获硕士学位；2012年6月毕业于中南大学计算机应用技术专业，获博士学位。2012年9月进入中南大学软件学院工作，教研。近年来在物联网、群智感知、车联网用户行为优化方面取得了较好的研究成果，在《IEEE Transactions on Parallel and Distributed System》（CCF A类期刊）、《IEEE Transactions on Mobile Computing》（CCF A类期刊）、《IEEE Internet of Things Journal》（中科院一区 IF>10）、《IEEE Transactions on Vehicular Technology》等分布式、移动计算、物联网、车联网领域顶级期刊和国内外会议共发表论文 20 余篇。主持国家自然科学基金2项、主持教育部博士点基金1项、主持湖南省自然科学基金1项、参与科技创新2030-“新一代人工智能”重大项目1项、参与国家自然科学基金3项。获得省部级科技进步二等奖1项、自然科学奖三等奖2项；已授权国家发明专利10余项，获得软件著作权10余项。

第 1 章 机器学习基本概念 ............................................................................................................... 1
1.1 机器学习定义 ...................................................................................................................... 1
1.2 算法分类 ............................................................................................................................ 1
1.2.1 有监督学习 .............................................................................................................. 1
1.2.2 无监督学习 .............................................................................................................. 2
1.2.3 分类与回归 .............................................................................................................. 2
1.2.4 判别模型与生成模型 ............................................................................................... 3
1.2.5 强化学习 .................................................................................................................. 4
1.3 模型评价指标 ..................................................................................................................... 4
1.4 模型选择 ............................................................................................................................ 5
1.4.1 训练误差和泛化误差 ............................................................................................... 6
1.4.2 验证数据集 .............................................................................................................. 6
1.4.3 过拟合与欠拟合 ....................................................................................................... 7
1.4.4 偏差-方差分解 ........................................................................................................ 8
第 2 章 决策树 ................................................................................................................................. 9
2.1 基本概念 ............................................................................................................................ 9
2.2 决策树的构建 .................................................................................................................... 11
2.2.1 如何选择最优的划分属性 ...................................................................................... 11
2.2.2 决策树的关键参数 ................................................................................................. 13
2.2.3 决策树的剪枝 ........................................................................................................ 14
2.2.4 连续值与缺失值的处理 ......................................................................................... 14
2.3 训练算法 .......................................................................................................................... 16
2.3.1 递归分裂 ................................................................................................................ 16
2.3.2 寻找最佳分裂 ........................................................................................................ 17
2.3.3 叶节点值的设定 ..................................................................................................... 20
2.3.4 属性缺失 ................................................................................................................ 20
2.3.5 剪枝算法 ................................................................................................................ 20
2.4 决策树算法案例 ................................................................................................................ 21
2.4.1 案例 1：鸟类与非鸟类判定 ......................................................................................... 21
2.4.2 案例 2：隐形眼镜的类型决策 ..................................................................................... 26
第 3 章 K 最近邻算法 .................................................................................................................... 31
3.1 基本概念 .......................................................................................................................... 31
3.2 算法原理及要素 ............................................................................................................... 31
3.3 预测算法 .......................................................................................................................... 32
3.4 距离定义 .......................................................................................................................... 33
3.4.1 常用距离定义 ........................................................................................................ 34
3.4.2 距离度量学习 ........................................................................................................ 35
3.5 K 最近邻算法案例 ........................................................................................................... 36
3.5.1 案例 1：基于 K 最近邻算法的数据分类 ............................................................... 36
3.5.2 案例 2：基于 KNN 算法的手写数字识别系统...................................................... 37
第 4 章 支持向量机 ....................................................................................................................... 41
4.1 基本概念 .......................................................................................................................... 41
4.2 线性分类器 ...................................................................................................................... 42
4.2.1 线性分类器概述 ..................................................................................................... 42
4.2.2 分类间隔 ................................................................................................................ 43
4.3 线性可分性 ...................................................................................................................... 43
4.3.1 原问题 .................................................................................................................... 44
4.3.2 对偶问题 ................................................................................................................ 45
4.4 线性不可分 ...................................................................................................................... 47
4.4.1 原问题 .................................................................................................................... 47
4.4.2 对偶问题 ................................................................................................................ 47
4.5 核映射与核函数 ............................................................................................................... 50
4.6 SMO 算法 ......................................................................................................................... 51
4.6.1 求解子问题 ............................................................................................................ 52
4.6.2 优化变量的选择 ..................................................................................................... 55
4.7 多分类问题 ...................................................................................................................... 56
4.8 SVM 算法案例 ................................................................................................................. 57
4.8.1 基于无核函数的小规模数据分类 .......................................................................... 57
4.8.2 基于核函数的手写数字识别 .................................................................................. 65
第 5 章 线性模型 ........................................................................................................................... 71
5.1 基本形式 .......................................................................................................................... 71
5.2 logistic 回归 ...................................................................................................................... 71
5.3 正则化 logistic 回归 ......................................................................................................... 74
5.3.1 对数似然函数 ........................................................................................................ 74
5.3.2 L2 正则化原问题 ................................................................................................... 75
5.3.3 L2 正则化对偶问题 ............................................................................................... 79
5.3.4 L1 正则化原问题 ................................................................................................... 80
5.4 logistic 回归算法案例 ...................................................................................................... 81
5.4.1 logistic 回归工作原理 ............................................................................................ 81
5.4.2 使用 logistic 回归在简单数据集上的分类 .............................................................. 81
第 6 章 贝叶斯分类器 ................................................................................................................... 85
6.1 贝叶斯决策 ...................................................................................................................... 85
6.1.1 贝叶斯决策概念 ..................................................................................................... 85
6.1.2 贝叶斯决策模型的定义 ......................................................................................... 86
6.1.3 贝叶斯决策的常用方法 ......................................................................................... 86
6.2 贝叶斯分类方法 ............................................................................................................... 89
6.3 朴素贝叶斯分类器 ........................................................................................................... 90
6.3.1 离散型特征 ............................................................................................................ 90
6.3.2 连续型特征 ............................................................................................................ 91
6.4 正态贝叶斯分类器 ........................................................................................................... 92
6.4.1 训练算法 ................................................................................................................ 92
6.4.2 预测算法 ................................................................................................................ 93
6.5 贝叶斯分类器案例 ........................................................................................................... 94
第 7 章 数据降维 ........................................................................................................................... 99
7.1 主成分分析 ...................................................................................................................... 99
7.1.1 数据降维方法 ...................................................................................................... 100
7.1.2 计算投影矩阵 ...................................................................................................... 101
7.1.3 向量降维 .............................................................................................................. 103
7.1.4 向量重构 .............................................................................................................. 103
7.2 线性判别分析 ................................................................................................................. 103
7.2.1 线性判别分析原理 ............................................................................................... 103
7.2.2 构造判别模型的过程 ........................................................................................... 105
7.3 局部线性嵌入 ................................................................................................................. 106
7.4 拉普拉斯特征映射 ......................................................................................................... 107
7.5 数据降维算法案例 ......................................................................................................... 108
第 8 章 聚类算法 .......................................................................................................................... 112
8.1 聚类定义 ......................................................................................................................... 112
8.2 聚类分析过程及结果评估 .............................................................................................. 113
8.2.1 聚类分析过程 ....................................................................................................... 113
8.2.2 相似度度量 ........................................................................................................... 113
8.2.3 聚类算法的性能评估 ............................................................................................ 115
8.3 聚类算法分类 .................................................................................................................. 115
8.3.1 层次聚类算法 ....................................................................................................... 116
8.3.2 基于质心的聚类算法 ............................................................................................ 117
8.3.3 基于概率分布的聚类算法 .................................................................................... 118
8.3.4 基于密度的聚类算法 ........................................................................................... 121
8.4 算法评价指标 ................................................................................................................. 126
8.4.1 内部指标 .............................................................................................................. 126
8.4.2 外部指标 .............................................................................................................. 127
8.5 聚类算法案例 ................................................................................................................. 127
第 9 章 人工神经网络 ................................................................................................................. 129
9.1 人工神经网络概念 ......................................................................................................... 129
9.2 多层前馈型神经网络 ..................................................................................................... 130
9.2.1 神经元 .................................................................................................................. 130
9.2.2 网络结构 .............................................................................................................. 132
9.2.3 正向传播算法 ...................................................................................................... 133
9.3 反向传播算法 ................................................................................................................. 134
9.3.1 算法简介 .............................................................................................................. 134
9.3.2 举例说明 .............................................................................................................. 135
9.4 人工神经网络案例 ......................................................................................................... 139
第 10 章 随机森林 ....................................................................................................................... 143
10.1 集成学习 ...................................................................................................................... 143
10.1.1 集成学习概念 .................................................................................................... 143
10.1.2 随机抽样 ............................................................................................................ 144
10.1.3 Bagging 算法 ...................................................................................................... 144
10.2 随机森林原理和生成过程 ........................................................................................... 145
10.3 训练算法 ...................................................................................................................... 146
10.4 变量 .............................................................................................................................. 147
10.5 随机森林案例 ............................................................................................................... 148
第 11 章 机器学习在生物信息中的应用 .................................................................................... 156
11.1 蛋白质相互作用热点识别 ........................................................................................... 156
11.2 实验数据集 ................................................................................................................... 157
11.2.1 训练数据集 ........................................................................................................ 157
11.2.2 独立测试集 ........................................................................................................ 158
11.3 特征提取与机器学习建模 ........................................................................................... 158
11.3.1 蛋白质特征 ........................................................................................................ 158
11.3.2 特征选择 ............................................................................................................ 160
11.3.3 特征提取 ............................................................................................................ 161
11.3.4 机器学习建模 ..................................................................................................... 162
11.4 实验结果分析 ............................................................................................................... 162
11.4.1 实验环境说明 ..................................................................................................... 162
11.4.2 实验评估指标 ..................................................................................................... 162
11.4.3 训练集结果比较 ................................................................................................. 163
11.4.4 独立测试集结果比较 ......................................................................................... 165
11.4.5 独立测试集上具体蛋白质分析 ........................................................................... 168