机器学习是人工智能的重要方向之一，对提升各行业的智能化程度正在起越来越大的作用。本书通过凝练机器学习的核心思想与方法，综合介绍了Python、常用库和相关工具，以及机器学习的原理与实现，囊括了机器学习与行业相结合的实例，可让没有深厚计算机、编程背景的读者在有限的时间内掌握机器学习的相关知识和应用工具。本书各部分的比例适当，在讲授基本Python编程、库函数的基础上，由浅入深地介绍了机器学习的思想、方法和实现。理论讲授部分从基本的最小二乘法开始，逐步深入地介绍了如何使用迭代求解的方法实现逻辑斯蒂回归、感知机、神经网络、深度神经网络。本书配套有完整的在线讲义、在线视频、作业和练习项目，每章的习题、练习、报告等都配有对应的二维码，读者可直接访问在线教程，选择适合自己的资料。本书可作为计算机、智能科学与技术、航空航天、电子信息、自动化等专业硕士研究生和本科生的教材，也可供相关技术人员参考。

布树辉，西北工业大学教授，博士生导师。中国航空学会航电与空管分会委员，国际数字地球学会中国国家委员会虚拟地理环境专业委员会委员，陕西省组合与智能导航重点实验室委员，陕西省自动化学会智能机器人专业委员会委员。出版教材和专著3部，发表学术论文100多篇。近年来完成国家、省部级研究项目19项，获省部级奖励6项，并于2021年获得吴文俊人工智能科学技术发明一等奖。主要研究方向包括自主无人机与机器人、图形与图像处理、机器学习及其应用等。在同时定位与构图、环境理解等方面取得了较为突出的成果，所研究的无人机实时地图重建与分析系统在国际上有较大的影响力。

第1章 绪论 1
1.1 机器学习的发展历程 2
1.2 机器学习的基本术语 2
1.2.1 特征 3
1.2.2 样本 3
1.2.3 模型 3
1.2.4 回归、分类与聚类 4
1.2.5 泛化与过拟合 4
1.3 机器学习的基本分类 5
1.3.1 监督学习 5
1.3.2 无监督学习 5
1.3.3 半监督学习 5
1.3.4 深度学习 6
1.3.5 强化学习 8
1.3.6 机器学习与人工智能 8
1.4 机器学习的应用 9
1.4.1 图像识别与处理 9
1.4.2 语音识别与自然语言处理 10
1.4.3 环境感知与智能决策 11
1.4.4 融合物理信息的工程设计 12
1.5 机器学习应用的步骤 13
1.5.1 应用场景分析 14
1.5.2 数据处理 14
1.5.3 特征工程 14
1.5.4 算法模型训练与评估 15
1.5.5 应用服务 15
1.6 机器学习的评估方法 15
1.6.1 数据集划分方法 15
1.6.2 性能度量 16
1.7 如何学习机器学习 17
1.7.1 由浅入深 17
1.7.2 行成于思 17
第2章 Python语言 18
2.1 为什么选择Python 18
2.2 安装Python的环境 19
2.2.1 Windows下的安装 19
2.2.2 Linux下的安装 19
2.2.3 设置软件源 20
2.2.4 安装常用Python库 20
2.2.5 安装PyTorch 20
2.2.6 Conda使用技巧 21
2.3 Jupyter Notebook 21
2.3.1 Jupyter Notebook的主页面 22
2.3.2 Jupyter Notebook的快捷键 24
2.3.3 Magic关键字 25
2.4 Python基础 25
2.4.1 变量 26
2.4.2 运算符 27
2.4.3 内置函数 28
2.5 print()函数 29
2.6 数据结构 30
2.6.1 列表 31
2.6.2 元组 38
2.6.3 集合 40
2.6.4 字符串 42
2.6.5 字典 46
2.7 控制流语句 48
2.7.1 判断语句 48
2.7.2 循环语句 50
2.8 函数 55
2.8.1 函数的参数 55
2.8.2 返回语句 56
2.8.3 默认参数 58
2.8.4 任意数量的参数 58
2.8.5 全局变量和局部变量 59
2.8.6 lambda函数 60
2.9 类和对象 60
2.9.1 成员函数与变量 61
2.9.2 继承 64
2.10 小结 66
2.11 练习题 66
2.12 在线练习题 67
第3章 Python常用库 68
3.1 NumPy数值计算库 68
3.1.1 创建NumPy数组 69
3.1.2 访问数组元素 73
3.1.3 文件读写 77
3.1.4 线性代数函数 79
3.1.5 数据统计 80
3.1.6 数组的操作 83
3.2 Matplotlib绘图库 87
3.2.1 多子图绘制 88
3.2.2 图像处理 89
3.3 小结 89
3.4 练习题 89
3.5 在线练习题 90
第4章 k最近邻算法 91
4.1 k最近邻原理 91
4.1.1 特征距离计算 92
4.1.2 算法步骤 92
4.2 机器学习的思维模型 93
4.3 数据生成 93
4.4 程序实现 95
4.5 将kNN算法封装为类 97
4.6 基于sklearn的分类实现 98
4.7 小结 100
4.8 练习题 100
4.9 在线练习题 100
第5章 k均值聚类算法 101
5.1 无监督学习思想 101
5.2 k均值聚类原理 102
5.3 k均值聚类算法 103
5.4 算法操作过程演示 103
5.5 k均值聚类算法编程实现 105
5.6 使用sklearn进行聚类 109
5.7 评估聚类性能 110
5.7.1 调整兰德指数 110
5.7.2 轮廓系数 111
5.8 k均值图像压缩 112
5.9 小结 114
5.10 练习题 115
5.11 在线练习题 115
第6章 逻辑斯蒂回归 116
6.1 最小二乘法 116
6.1.1 数据生成 116
6.1.2 最小二乘法的数学原理 117
6.1.3 最小二乘法的程序实现 118
6.2 梯度下降法 119
6.2.1 梯度下降法的原理 119
6.2.2 梯度下降法的实现 121
6.2.3 迭代可视化 123
6.2.4 梯度下降法的优化 124
6.3 多元线性回归 125
6.3.1 导弹弹道预测算法 125
6.3.2 建模与编程求解 126
6.4 使用sklearn库进行拟合 127
6.5 逻辑斯蒂回归的原理 128
6.5.1 数学模型 129
6.5.2 算法流程 131
6.6 逻辑斯蒂回归的实现 131
6.6.1 逻辑斯蒂回归示例程序 132
6.6.2 使用sklearn解决逻辑斯蒂
回归问题 134
6.6.3 多类识别问题 136
6.7 小结 140
6.8 练习题 140
6.9 在线练习题 140
第7章 神经网络 141
7.1 感知机 141
7.1.1 感知机模型 142
7.1.2 感知机学习策略 143
7.1.3 感知机学习算法 143
7.1.4 示例程序 144
7.2 多层神经网络 147
7.2.1 神经元 147
7.2.2 神经网络架构 148
7.2.3 神经网络正向计算 148
7.2.4 神经网络矩阵表示 149
7.2.5 神经网络训练 151
7.2.6 激活函数 155
7.2.7 神经网络训练算法设计 157
7.2.8 示例程序 158
7.2.9 使用类的方法封装多层神经网络 161
7.3 softmax函数与交叉熵代价函数 165
7.3.1 softmax函数 165
7.3.2 交叉熵代价函数 167
7.4 小结 169
7.5 练习题 169
7.6 在线练习题 170
第8章 PyTorch 171
8.1 张量 171
8.1.1 Tensor的生成 171
8.1.2 Tensor的操作 173
8.1.3 Tensor的维度操作 173
8.1.4 Tensor的变形 175
8.1.5 inplace操作 175
8.2 自动求导 176
8.2.1 简单情况下的自动求导 177
8.2.2 复杂情况下的自动求导 178
8.2.3 多次自动求导 180
8.3 神经网络模型 180
8.3.1 逻辑斯蒂回归与神经网络 180
8.3.2 序列化模型 185
8.3.3 模块化网络定义 187
8.3.4 模型参数保存 189
8.4 神经网络的定义与训练 191
8.4.1 MNIST数据集 191
8.4.2 CIFAR-10数据集 192
8.4.3 多分类神经网络 192
8.4.4 参数初始化 198
8.4.5 模型优化求解 202
8.5 综合示例代码 212
8.6 小结 214
8.7 练习题 215
8.8 在线练习题 215
第9章 深度学习 216
9.1 卷积神经网络 216
9.1.1 卷积网络的基础 217
9.1.2 卷积计算与模块 220
9.1.3 数据预处理与批量归一化 223
9.1.4 网络正则化 229
9.1.5 学习率衰减 231
9.2 典型的深度神经网络 235
9.2.1 LeNet5 235
9.2.2 AlexNet 240
9.2.3 VGG 245
9.2.4 GoogLeNet 250
9.2.5 ResNet 254
9.2.6 DenseNet 260
9.3 小结 265
9.4 练习题 265
9.5 在线练习题 265
第10章 目标检测 266
10.1 目标检测的任务 266
10.2 目标检测的发展历程 267
10.3 目标检测评估方法 269
10.3.1 交并比 269
10.3.2 精度 270
10.3.3 平均精度 271
10.3.4 平均精度均值 271
10.4 目标检测的原理 271
10.4.1 YOLO-v1 271
10.4.2 YOLO-v2 280
10.4.3 YOLO-v3 280
10.4.4 YOLO-v4 281
10.4.5 YOLO-v5 281
10.5 YOLO-v4原理与实现 283
10.5.1 主干特征提取网络 283
10.5.2 特征金字塔 287
10.5.3 利用特征进行预测 289
10.5.4 预测结果的解码 290
10.5.5 在原始图像上进行绘制 295
10.6 YOLO-v4的技巧及损失函数分析 295
10.6.1 Mosaic数据增强 295
10.6.2 CIoU 299
10.6.3 损失函数 300
10.7 训练自己的YOLO-v4模型 307
10.7.1 数据集的准备 307
10.7.2 数据集处理 307
10.7.3 网络训练 308
10.7.4 训练结果预测 310
10.8 小结 310
10.9 练习题 310
10.10 在线练习题 310
第11章 深度强化学习 311
11.1 强化学习 311
11.1.1 强化学习的基本概念 312
11.1.2 马尔可夫决策过程 313
11.1.3 Q学习算法 315
11.1.4 示例程序 317
11.2 深度强化学习 320
11.3 倒立摆的控制示例 321
11.3.1 仿真环境 322
11.3.2 第三方库 322
11.3.3 经验回放内存 323
11.3.4 Q网络 324
11.3.5 输入数据截取 324
11.3.6 超参数和工具函数 325
11.3.7 网络训练 327
11.4 小结 329
11.5 练习题 330
11.6 在线练习题 330
参考文献 331
术语表 333