本书介绍了语音信号处理的基础、原理、方法和应用，以及该学科领域近年来取得的一些新的研究成果和技术。全书共分13章，内容包括：绪论、语音信号处理的基础知识、语音信号处理的常用算法、语音信号分析、语音信号特征提取技术、语音增强、语音识别、说话人识别、语音编码、语音合成与转换、语音信号情感处理、声源定位、多模态语音信号处理。
本书可作为高等院校的教材或教学参考书，同时也可供语音信号处理等领域的工程技术人员参考。

第4版教材与第3版相比，系统介绍了深度学习技术的基本原理以及典型方法，并且在语音增强、说话人识别、语音编码、语音合成与转换、语音信号情感处理各章增加了深度学习技术在上述方向上的应用。增加了有关多模态语音信号处理的内容，在第13章中介绍了这个全新方向上的最新理论与应用成果。
本教材入选战略性新兴领域十四五高等教育教材体系建设团队新一代信息技术（新一代通信技术）。本教材的出版得到了国家自然科学基金面上项目、江苏省高等教育教学改革重中之重研究课题、江苏省教育科学十四五规划重点课题资助。

《语音信号处理》是根据机械工业出版社高等院校通信与信息专业系列教材出版规划，由通信与信息专业系列教材编审委员会编审、推荐出版的。自从2016年5月第3版出版以来，本学科领域的理论与实践研究迅速发展，分析方法不断更新，技术应用范围日益扩展，对本教材内容的更新和结构体系的进一步完善提出了更高的要求。面对这一情况，我们结合教学实践，逐步明确了编写本书第4版追求的目标，这就是在相对稳定中力求变革，处理好经典理论的论述与最新技术的相互融合。正是在这样的指导思想下，编者对第3版教材进行了修订、补充和更新。
新版教材力求系统地反映语音信号处理的基本原理与方法，以及近年来该领域的新进展和新技术；突出基本概念、原理、方法、应用、研究现状及学科发展趋势。在结构上，按照基础-分析-处理-应用的顺序组织材料，从最经典的技术与应用逐步过渡到最新最热门的技术与应用，使之既能满足教学需要，又可以反映出本学科领域近年来发展的新成果。
第4版教材与第3版相比，除了增减了部分章节以外，基本保持了原作风貌，认真修订了第3版中的错误和疏漏。根据作者多年来给本科生和研究生讲授语音信号处理课程的体会，做了两个主要的改变。首先，考虑到深度学习技术在语音信号处理领域已经得到了广泛应用，我们在第3章中系统介绍了深度学习技术的基本原理以及典型方法，并且在语音增强、说话人识别、语音编码、语音合成与转换、语音信号情感处理各章增加了深度学习技术在上述方向上的应用。其次，考虑到以图像、视频、文本、脑电波等为代表的其他模态信号在引入语音信号处理领域后，可望进一步提升传统语音信号处理系统性能，完成单一语音模态难以完成的任务，本版教材还增加了有关多模态语音信号处理的内容，在第13章中介绍了这个全新方向上的最新理论与应用成果。
本教材主要面向信息与通信工程、电子科学与技术、模式识别与人工智能、计算机科学与技术等学科有关专业的高年级本科生和研究生，也可以作为语音信号处理领域科研技术人员的参考书。本书的参考学时为本科生32学时、研究生40学时，可以根据不同的教学要求对其内容进行适当取舍，灵活安排讲课学时数。
本教材由南京邮电大学魏昕教授、东南大学赵力教授编著，南京邮电大学周亮教授提了很多有益的意见和建议，南京工程学院梁瑞宇教授对本书第3版的编写做了很大的贡献，在此一并表示感谢。本教材入选战略性新兴领域十四五高等教育教材体系建设团队新一代信息技术（新一代通信技术）。本教材的出版得到了国家自然科学基金面上项目（62277032、62071254）、江苏省高等教育教学改革重中之重研究课题（2023JSJG021）、江苏省教育科学十四五规划重点课题（B/2022/01/150）资助。作者参考和引用了一些学者的研究成果、著作和论文，具体出处见参考文献。在此，向这些文献的著作者表示敬意和感谢。
语音信号处理是一门理论性强、实用面广、内容新、难度大的交叉学科，同时这门学科又处于快速发展之中，尽管作者在编写过程中始终注重理论紧密联系实际，力求以尽可能简明、通俗的语言，深入浅出、通俗易懂地将这门学科介绍给读者，但因编者水平有限，书中缺点和错误在所难免，敬请广大读者批评指正。

2024年6月编者

魏昕，南京邮电大学通信与信息工程学院教授、博士生导师，江苏高校青蓝工程中青年学术带头人。2009年博士毕业于东南大学，师从赵力教授。主要从事多媒体通信与信息处理、教育信息化、智慧建筑等方面的研究工作。近年来主持国家自然科学基金面上项目、江苏省自然科学基金、江苏省高等教育教学改革重中之重研究课题等；在IEEE TCOM/JSAC/TMM/TCSVT/WCM、Computers & Education、通信学报、电子学报等国内外核心期刊上发表SCI、SSCI学术论文70余篇，出版Springer英文学术专著2本；担任中国通信学会通信理论与信号处理专委会委员以及多个电子信息领域国际学术会议分论坛主席；获得中国通信学会自然科学一等奖、华夏建设科学技术一等奖、 IEEE Transactions on Multimedia Best Paper Award等多项学术奖励；获得授权中国发明专利30余项、美国发明专利2项，其中8项已实现成果转化。

赵力，东南大学信息科学与工程学院教授、博士生导师。1998年博士毕业于日本京都理工大学，师从原日本音响学会会长新美康永教授，现为中国声学学会理事会理事、中国神经心理学会理事、南京多媒体学会理事、东南大学信息处理与应用工程研究中心负责人。主要从事语音信号处理、自然语言处理、声频和视频信号处理、情感信息处理等方面的研究工作。在语音和声频信号检测、汉语连续语音识别、说话人和环境自适应方法、语音会话系统、语言翻译系统、声场景分析、语音信号中的情感信息处理等方面取得了一系列研究成果，曾为数十家企业完成音视频处理系统设计。已培养博、硕士研究生三百余名；在IEEE TASLP/TIP/TNN、Pattern Recognition、日本音响学会志、电子学报、声学学报等国内外核心学术期刊发表SCI论文300余篇；主持或参与完成多项国家973项目、国家863项目、国家科技部重点研发计划、国家自然科学基金重点项目/面上项目、重点科技攻关项目。获得江苏省科技进步二等奖3次、科学技术二等奖2次、江苏省教育厅优秀课程群教学一等奖等。

前言
第1章绪论
第2章语音信号处理的基础知识
2.1语音发音及感知系统
2.2语音信号生成的数学模型
2.3语音基本概念与参数
2.4语音信号的数字化和预处理
2.5语音信号处理的应用
2.6思考与复习题
第3章语音信号处理的常用算法
3.1矢量量化
3.2隐马尔可夫模型
3.3深度学习
3.4思考与复习题
第4章语音信号分析
4.1概述
4.2语音分帧
4.3语音信号的时域分析
4.4语音信号的频域分析
4.5语音信号的倒谱分析
4.6语音信号的线性预测分析
4.7语音信号的小波分析
4.8思考与复习题
第5章语音信号特征提取技术
5.1概述
5.2端点检测
5.3基音周期估计
5.4共振峰估计
5.5思考与复习题
第6章语音增强
6.1概述
6.2语音特性、人耳感知特性及噪声特性
6.3滤波器法
6.4相关特征法
6.5非线性处理法
6.6减谱法与维纳滤波法
6.7基于深度学习的语音增强
6.8思考与复习题
第7章语音识别
7.1概述
7.2语音识别原理和识别系统的组成
7.3孤立字（词）识别系统
7.4连续语音识别系统
7.5语音识别系统的性能评测
7.6思考与复习题
第8章说话人识别
8.1概述
8.2说话人识别方法和系统结构
8.3基于矢量量化的说话人识别系统
8.4基于动态时间规整的说话人确认系统
8.5基于高斯混合模型（GMM）的说话人识别系统
8.6基于深度学习的说话人识别
8.7尚需进一步探索的研究课题
8.8思考与复习题
第9章语音编码
9.1概述
9.2语音编码的评价指标
9.3语音信号的波形编码
9.4语音信号的参数编码
9.5语音信号的混合编码
9.6基于深度学习的语音编码
9.7思考与复习题
第10章语音合成与转换
10.1概述
10.2语音合成算法
10.3基于深度学习的语音合成
10.4常用的语音转换方法
10.5语音转换的研究方向
10.6思考与复习题
第11章语音信号情感处理
11.1概述
11.2情感理论与情感诱发实验
11.3情感的声学特征分析
11.4实用语音情感识别算法
11.5基于深度学习的语音情感识别
11.6应用与展望
11.7思考与复习题
第12章声源定位
12.1概述
12.2双耳听觉定位原理及方法
12.4基于传声器阵列的声源定位
12.5总结与展望
12.6思考与复习题
第13章多模态语音信号处理
13.1概述
13.2视觉信息辅助的语音增强
13.3视觉信息辅助的语音合成
13.4视觉信息辅助的语音识别
13.5多模态融合的语音情感信息处理
13.6总结与展望
13.7思考与复习题
附录汉英名词术语对照
参考文献