第5版前言
从我国第一本模式识别与机器学习的专门教材、清华大学边肇祺教授领衔编写的《模式识别》出版到现在已经将近40年了。在这期间,模式识别与机器学习,从一个很少人关注的小众学科,已经发展为一个几乎所有人都在关注的重要领域。尤其是进入21世纪的25年来,人类共同见证了模式识别、机器学习和人工智能学科的飞跃。
在1988年出版的《模式识别》、2000年出版的《模式识别》(第2版)、2010年出版的《模式识别》(第3版)基础上,为了及时更新学科最新内容,我们在2021年出版了《模式识别》(第4版)并辅以副标题“模式识别与机器学习”,大幅度增加了深度学习的相关内容,教材篇幅也从前三版的200多页增加至近400页。第4版的出版受到了学界同行和广大读者的热烈欢迎,在短短四年时间内已印刷11次,发行超过28000册。同时,我们也陆续收到一些同行教师和部分学生读者的反馈,就是教材内容已经难以在一门课的教学中覆盖。据了解,有的学校把这本教材开设为两学期的课程,而更多学校则只能从教材中选择一部分内容放在一门课程中。为适应这种多样性需求,我们特地在2022年重印时增加了一个关于如何使用第4版教材设计不同类型课程的“序”,以期减少部分教师在规划课程内容时可能会遇到的困难,但仍可感受到读者对于“浓缩版”教材的需求。
与此同时,就在这短短4年多时间里,模式识别与机器学习领域又有了更多发展,尤其是在深度学习基础上发展起来的大语言模型,为模式识别、机器学习和人工智能学科带来了翻天覆地的变化。我们这几年在清华大学的教学实践中,每年都不断更新和调整教学内容,第4版教材也已经无法完全满足教学需要。
另外,正如我们在第4版前言中已经提到的,“模式识别”或“模式识别与机器学习”课程已经从少数人学习的专业课程,变成各专业都关心和需要的专业基础课,甚至将成为人工智能基本素质课。
所有这些情况都告诉我们,试图用一本教材来适应模式识别的各种教学需求是很困难的,试图在一门模式识别课中覆盖所有重要内容也是不现实的。为此,我们从2024年开始对教材和课程内容进行了深入的再研究,认为需要保持一门可以在32~48学时内能完成的“精华版”课程,让大部分专业背景的学生都能从中掌握模式识别与机器学习核心原理与方法体系,同时也能让同学对未能完全覆盖的最新进展有所了解,尤其是它们与核心内容的关系。出于这样的考虑,我们在前四版基础上写成了《模式识别》(第5版),一方面对前四版进行了系统提炼和浓缩,保留学科发展脉络和最核心内容,另一方面也在第4版基础上更新了对近5年来最新进展和发展趋势的介绍,并把总篇幅浓缩在300页左右。希望这本新版教材能更好地适应一门一学期课程的需要,给教师深入浅出地开展教学提供更好的参考,也使自学本书的读者能更有效地掌握学科精髓内容。
我们也考虑到仍有部分院校有对模式识别与机器学习开设更深入的课程的需求,为此,我们将在原第4版基础上增加更多最新内容,尽快独立出版一本内容覆盖更全面、深度更深的《模式识别与机器学习》,作为本教材的进阶版或加强版,也为使用本教材的教师和学有余力的同学提供补充参考书。
感谢广大读者一直以来的关爱和支持,也继续欢迎读者给我们提供反馈意见和建议。
张学工汪小我
2025年2月2日
于 清华园
第5版前言
第4版前言
一转眼十年又过去了,十年前在出版本书第3版时,我曾经感慨信息时代的到来,而从那以后的这十年,我们则深刻感受到了智能时代的来临。清华大学出版社的老师告诉我,《模式识别》第2版和第3版到目前已经共印刷了38次,总发行量超过10万册。在我平时的工作中,时常收到采用本教材授课的高校教师的问题和建议,也收到一些读者反馈。我要特别感谢这些老师和读者对本教材长期的支持和关爱,也很高兴看到这本教材为这个蓬勃发展的学科贡献了一份力量。
21世纪的前20年,见证了模式识别、机器学习和人工智能学科的飞速发展。这一点从本教材各个版本使用情况的演化也可见一斑。从边肇祺先生主持编写的《模式识别》到边肇祺、张学工共同编写的《模式识别》第2版,当时的读者主要是直接从事本领域研究的教师、研究生和科技工作者,而《模式识别》第3版的读者已经扩展到各个专业对本领域感兴趣的教师、研究生、本科生和科技工作者。模式识别类的课程最开始是少数院校在自动化系、计算机系等开设的研究生专业课,现在已经成为很多院系的研究生专业基础课,很多学校和院系开始把模式识别和机器学习类课程作为本科生专业必修课和全校性选修课。在我自己这些年的本科生课堂上,选课同学不但来自计算机、自动化、电子、软件等信息类专业,还有大量同学来自数学、物理、生物、医学以及各种工程类、机械类、管理类专业,也有同学来自建筑学院、美术学院和心理学、社会学、语言学等专业。这一方面说明了各专业同学数理基础和计算机基础的普遍提高,另一方面更从一个侧面映射出了这一学科受欢迎的程度。
从学科本身看,最近十年最大的发展当属深度学习和机器学习与人工智能结合产生出的大量成功应用。在十年前编写第3版教材时刚刚显露头角的深度神经网络和在较小范围内研究的概率图模型等,已经成为最受关注的热点。同时,大量机器学习软件平台的出现和发展,也改变了人们以往学习和利用模式识别与机器学习方法的方式。这些日新月异的发展,使我强烈感受到这本教材的内容需要很多更新和补充,但因为其他各种工作太繁忙,早就答应出版社的教材编写计划几次被拖延。2019年底,在与汪小我老师共同准备“模式识别与机器学习”课程时,我邀请汪老师与我共同进行这本书的写作。
2020年初,突如其来的新冠疫情改变了所有人的生活和工作,也促使每个人更清楚地认识自己对社会和历史的责任。于是,我和汪老师商量决定,与疫情赛跑,在春季学期的远程授课中就采用新版教材的内容,迫使自己在春季学期授课的同时完成本书新版的写作,力争在年内出版。2020年7月19日,我们完成了新版的全部写作,与第3版相比,增加了5章新内容,对原有内容也进行了必要的调整和补充。
对于业内学者来说,“模式识别”与“机器学习”是非常接近和高度相关的概念,但对于尚未学习这些内容的读者,可能会对这两个名词有不同的认识。为了更全面地反映本书的内容范围,我们增加了副标题“模式识别与机器学习”,也据此对很多内容进行了补充和调整。近年来,很多人尤其是产业界和投资界把模式识别和机器学习都放在人工智能的大框架下,因此,我们也在新版第15章专门对“模式识别”“机器学习”“人工智能”三个概念的关系、演化和背后的学术思想进行了讨论。
新版内容的编写得到了很多老师和同学的帮助,尤其是2020年春季学期清华大学自动化系本科生课程“模式识别与机器学习”的助教研究生王昊晨、颜钱明、张威、乔榕,和2019年秋季学期清华大学自动化系研究生英文课程“机器学习”的助教研究生花奎、陈斯杰、马天行、孟秋辰、李嘉骐。在新版的具体内容编写中,第4章隐马尔可夫模型和贝叶斯网络、10.9节的t?SNE降维可视化方法、11.8节的一致聚类方法和12.8.2节的实例主要由汪小我负责起草,其中颜钱明帮助计算了10.9节和11.8节的例子; 张威起草了第14章机器学习软件平台的介绍和计算机代码示例; 其他新增章节(第7章、第12章、第15章)和其他章节调整内容均由张学工负责起草,其中王昊晨帮助起草了12.7节生成模型的初稿,第7章采用了《模式识别》第2版中的部分原稿,第12章中采纳了胡越、罗东阳同学之前准备的部分素材。张学工负责了新版的统稿。第12章深度学习的前半部分草稿得到了清华大学自动化系黄高老师的很多建议和指正。马天行、李嘉骐、陈斯杰、孟秋辰、王昊晨、颜钱明、张威、乔榕、张嘉惠等同学帮助对部分书稿进行了文字和公式检查。厦门大学王颖教授对部分公式错误给出了更正。本次主要新增章节草稿在2020年春季清华大学自动化系本科生课程“模式识别与机器学习”中进行了试用。本书的编写也得到了清华大学自动化系古槿、闾海荣、江瑞等老师的帮助,并得到了福州数据技术研究院的大力帮助和支持。
本教材编写得到了清华大学历年来多个教学改革和学科建设项目的支持,教材中涉及的很多科学研究内容,得到了国家自然科学基金创新研究群体项目、杰出青年基金项目和优秀青年基金项目等的支持。
张学工
2020年7月20日
目录
第1章概论
1.1智能、识别、学习
1.2模式识别的基本任务和系统典型构成
1.3本书主要内容与推荐用法
第2章统计决策方法
2.1引言: 一个简单的例子
2.2最小错误率贝叶斯决策
2.3最小风险贝叶斯决策
2.4两类错误率、Neyman?Pearson决策与ROC曲线
2.5正态分布时的统计决策
2.5.1正态分布及其性质回顾
2.5.2正态分布概率模型下的最小错误率贝叶斯决策
2.6错误率的计算
2.6.1正态分布且各类协方差矩阵相等情况下错误率的计算
2.6.2高维独立随机变量时错误率的估计
2.7错误率的实验估计
2.7.1训练错误率
2.7.2测试错误率
2.7.3交叉验证
2.7.4真实场景下需要考虑的更多问题
2.8离散时间序列样本的统计决策
2.8.1基因组序列的例子
2.8.2马尔可夫模型及在马尔可夫模型下的贝叶斯决策
2.8.3隐马尔可夫模型简介
2.9贝叶斯网络简介与朴素贝叶斯分类器
2.9.1贝叶斯网络的基本概念
2.9.2贝叶斯网络模型的学习
2.9.3朴素贝叶斯分类器
2.10讨论
第3章概率密度函数的估计
3.1引言
3.2最大似然估计
3.2.1最大似然估计的基本原理
目录
目录
3.2.2最大似然估计的求解
3.2.3正态分布下的最大似然估计
3.3贝叶斯估计与贝叶斯学习
3.3.1贝叶斯估计
3.3.2贝叶斯学习
3.3.3正态分布时的贝叶斯估计
3.3.4其他分布的情况
3.4概率密度估计的非参数方法
3.4.1非参数估计的基本原理与直方图方法
3.4.2kN近邻估计方法
3.4.3Parzen窗法
3.5讨论
第4章线性学习机器与线性分类器
4.1引言
4.2线性回归
4.3线性判别函数的基本概念
4.4Fisher线性判别分析
4.5感知器
4.6最小平方误差判别
4.7罗杰斯特回归
4.8最优分类超平面与线性支持向量机
4.8.1最优分类超平面
4.8.2大间隔与推广能力
4.8.3线性不可分情况
4.9多类线性分类器
4.9.1多个两类分类器的组合
4.9.2多类线性判别函数
4.9.3多类罗杰斯特回归与软最大
4.10讨论
第5章典型的非线性分类器
5.1引言
5.2分段线性判别函数
5.2.1分段线性距离分类器
5.2.2一般的分段线性判别函数
5.3二次判别函数
5.4多层感知器神经网络
5.4.1神经元与感知器
5.4.2用多个感知器实现非线性分类
5.4.3反向传播算法
5.4.4多层感知器网络用于模式识别
5.4.5神经网络结构的选择
5.4.6前馈神经网络与传统模式识别方法的关系
5.4.7人工神经网络的一般知识
5.5支持向量机
5.5.1广义线性判别函数
5.5.2核函数变换与支持向量机
5.5.3支持向量机早期应用举例
5.5.4支持向量机的实现算法
5.5.5多类支持向量机
5.5.6用于函数拟合的支持向量机——支持向量回归
5.6核函数机器
5.6.1大间隔机器与核函数机器
5.6.2核Fisher判别
5.6.3中心支持向量机
5.7统计学习理论与正则化理论简介
5.7.1统计学习理论简介
5.7.2关于VC维与推广性界的核心结论
5.7.3不适定问题和正则化方法简介
5.8讨论
第6章非参数学习机器与集成学习
6.1引言
6.2近邻法
6.2.1最近邻法
6.2.2k?近邻法
6.2.3近邻法的快速算法
6.2.4剪辑近邻法
6.2.5压缩近邻法
6.3决策树与随机森林
6.3.1非数值特征的量化
6.3.2决策树
6.3.3过学习与决策树的剪枝
6.3.4随机森林
6.4Boosting集成学习
6.4.1集成学习的基本思想与AdaBoost方法
6.4.2XGBoost方法
6.5讨论
第7章特征选择
7.1引言
7.2用于分类的特征评价准则
7.2.1基于类内类间距离的可分性判据
7.2.2基于概率分布的可分性判据
7.2.3基于熵的可分性判据
7.2.4利用统计检验作为可分性判据
7.3特征选择的最优算法
7.4特征选择的次优算法
7.5遗传算法
7.6包裹法: 以分类性能为准则的特征选择方法
7.7讨论
第8章特征提取与降维表示
8.1引言
8.2基于类别可分性判据的特征提取
8.3主成分分析
8.4Karhunen?Loève变换
8.4.1K?L变换
8.4.2用于监督模式识别的K?L变换
8.5用“本征脸”作为人脸识别的特征
8.6高维数据的低维可视化
8.7多维尺度(MDS)法
8.7.1MDS的概念
8.7.2古典尺度法
8.7.3度量型MDS
8.7.4非度量型MDS
8.7.5MDS在模式识别中的应用举例
8.8非线性特征变换方法简介
8.8.1核主成分分析(KPCA)
8.8.2IsoMap方法和LLE方法
8.9t?SNE降维可视化方法
8.10特征提取与选择对分类器性能估计的影响
8.11讨论
第9章非监督学习与聚类
9.1引言
9.2基于模型的聚类方法
9.3混合模型的估计
9.3.1混合密度的最大似然估计
9.3.2混合正态分布的参数估计
9.4动态聚类算法
9.4.1C均值算法(K均值算法)
9.4.2ISODATA方法
9.4.3基于核的动态聚类算法
9.5模糊聚类方法
9.5.1模糊集的基本知识
9.5.2模糊C均值算法
9.5.3改进的模糊C均值算法
9.6分级聚类方法
9.7自组织映射(SOM)神经网络
9.7.1SOM网络结构
9.7.2SOM学习算法和自组织特性
9.7.3SOM网络用于模式识别
9.8一致聚类方法
9.9聚类结果的评价
9.9.1聚类质量的自身评价
9.9.2不同聚类结果的比较
9.10讨论
第10章深度学习与大模型简介
10.1引言
10.2多层感知器神经网络回顾
10.3卷积神经网络(CNN)
10.3.1卷积神经网络的基本构成
10.3.2深度卷积神经网络
10.4Hopfield网络与玻尔兹曼机
10.4.1Hopfield网络
10.4.2玻尔兹曼机与限制性玻尔兹曼机(RBM)
10.5循环神经网络(RNN)与长短时记忆模型(LSTM)
10.5.1循环神经网络(RNN)
10.5.2长短时记忆模型(LSTM)
10.6自编码器与生成模型
10.6.1深度自编码器
10.6.2变分自编码器(VAE)
10.6.3生成对抗网络(GAN)
10.6.4扩散模型简介
10.7大语言模型简介
10.7.1概率语言模型和词向量表示
10.7.2注意力机制与Transformer
10.7.3大语言模型概述
10.8讨论
第11章结语: 模式识别、机器学习与人工智能
11.1模式识别
11.2机器学习
11.3多元分析
11.4人工智能
11.5展望
参考文献
术语表
后记