随着信息技术的飞速发展，当今数据越来越呈现出多源异构特性，具有多种表示的数据（即多视图数据）大量涌现。多视图数据主要是人类在对真实世界进行感知过程中采用不同手段而产生的，这些数据具有小样本、多样性、多模态、价值密度低等特征。实现多视图数据的表示学习是充分合理地利用多视图数据信息的关键。本书以多视图表示学习思想为潜在主线循序渐进地展开介绍，首先介绍基于深度生成模型的多视图表示学习方法与基于样本间图结构的多视图受限玻耳兹曼机模型，然后给出在时间序列上的多视图表示学习方法，最后介绍两种在视图缺失场景中的多视图表示学习方法。

本书可作为机器学习、人工智能、智能科学等专业的高年级本科生和研究生的学习用书，并对从事相关领域的研究人员具有重要的参考价值。

随着计算机和信息技术的发展，当今数据越来越呈现出多源异构特性，具有多种表示的多视图数据大量涌现。在多视图数据中，经常假设每个样本的不同视图都足以完成模式识别或者其他特定任务，并且不同的视图通常包含互补的数据信息。例如，指纹、人脸、步态等不同的生理特征或者行为特征都可以用来实现生物识别，而且不同的生物特征融合可以使识别过程更加精准与安全。多视图数据融合的表示学习（简称为多视图表示学习）能够从多视图数据中挖掘不同视图间的关联性与每个视图内的知识，从而发现多视图数据的规律并找到更好的数据表达方式。

多视图表示学习可以充分利用多视图数据，并发现其内在的本质结构以方便后续机器学习任务。全书以多视图表示学习思想为潜在主线，循序渐进地展开介绍多视图表示学习方法。全书共分8章，主要内容如下：

第1章从基本概念与典型学习系统两个角度介绍多视图表示学习。在多视图表示学习模型中，常见的两种假设是视图一致性假设和公共特征表示假设。从视图一致性假设或公共特征表示假设出发，多视图表示学习系统在实际应用领域中普遍存在，如多模态生物特征识别、多传感器融合的自动驾驶、基于图像的多模态机器翻译等。

第2章概述多视图表示学习基础，包括视图一致性度量方法和多视图表示融合方法。在视图一致性度量方法中，不同视图的数据经过各自视图上的特征映射函数或标注函数能得到一致的特征表示，视图一致性通过视图间的相似性或者相关性来度量。多视图表示融合方法能够根据每个视图特征学习到公共表示或公共图结构，多视图表示融合方法可分成基于图的方法和基于神经网络的方法。

第3章介绍多视图受限玻耳兹曼机模型，包括后验一致性受限玻耳兹曼机模型与后验一致性和领域适应受限玻耳兹曼机模型。后验一致性受限玻耳兹曼机模型确保不同视图上受限玻耳兹曼机模型隐藏层特征间的一致性。在此基础上，后验一致性和领域适应受限玻耳兹曼机模型将每个视图的隐藏层分成两部分：一部分包含不同视图之间的一致性信息，另一部分包含该视图特有的信息。

第4章详述基于图结构的多视图玻耳兹曼机模型，包括基于近邻正则化的图受限玻耳兹曼机模型和基于样本间图结构的多视图受限玻耳兹曼机模型。基于近邻正则化的图受限玻耳兹曼机模型，根据样本自身和样本邻域确定每个样本的隐藏表示，并将每个样本的邻域信息视为固定值以处理更大规模的数据。在此基础上，基于样本间图结构的多视图受限玻耳兹曼机模型引入视图一致性和互补性原则处理多视图数据。

第5章介绍基于多视图关键子序列的多元时间序列表示学习模型。针对无监督关键子序列学习问题，基于自适应近邻的无监督关键多元子序列学习模型可以进行关键多元子序列和样本间的局部图结构的联合学习。在此基础上，基于自适应近邻的多视图无监督关键多元子序列学习模型把不同长度的关键多元子序列学习到的特征视为不同视图，使用多视图模型来指导关键多元子序列的更新。

第6章介绍面向视图缺失场景的不完整多视图非负表示学习模型。针对视图缺失问题，不完整多视图非负表示学习模型利用每个单独的不完整视图的邻居结构来构建多个相似图，并将这些图分解为一致性非负特征和视图私有的图特征。此外，不完整多视图非负表示学习模型还使用额外的图正则化项来约束一致性非负特征，以便学习到的一致性非负特征可以保留更多的图结构信息。

第7章详述基于图补全和自适应近邻的不完整多视图表示学习模型。基于图补全和自适应近邻的不完整多视图表示学习模型，将每个视图上的完整图结构和不完整图结构分解为一致性非负特征和两个视图私有表示，其中一致性非负特征还需要满足公共图的正则化约束。通过这种方式，该模型能够充分利用来自可用视图和缺失视图的信息来学习具有表现力的一致性非负特征。

第8章给出全书的总结和展望。本章首先对全书内容分章节进行总结，然后介绍两个前沿方向可信多视图表示学习和面向视图缺失场景/视图不对齐场景的多视图表示学习。

本书针对多视图表示学习研究中的基本概念、典型模型与算法、具体多视图场景上的应用等重要问题，系统论述了多视图表示学习的最新研究成果。本书的特点体现在理论与实验有机结合，基础理论与最新研究成果并重，循序渐进地展开，介绍面向多视图数据融合的表示学习方法。书中的主体内容，均来自作者主持开展的创新性研究。本书可作为机器学习、人工智能、智能科学等专业的高年级本科生和研究生的学习用书，并对从事相关领域的研究人员具有重要的参考价值。

由于作者的学识水平所限，书中不妥之处在所难免，敬请读者批评指正。

本书得到了国家自然科学基金面向多视图场景的深度高斯过程模型与算法研究（No. 62076096）、多视图场景下的深度生成认知网络模型研究（62006076）和浙江省基础公益研究计划面向资源受限场景的多视图表示学习方法研究(No.LY23F020002)的资助。

作者2022年10月

张楠 博士，温州大学讲师。博士毕业于中国矿业大学，曾在华东师范大学从事博士后研究工作。入选上海市2019年度超级博士后激励计划，主持国家自然科学青年基金一项。从事模式识别与机器学习领域的研究，具体包括多视图学习与生成模型。迄今发表论文20余篇，代表性成果发表于IEEE TPAMI、IEEE TNNLS、IEEE TCYB、PR等国际顶级期刊上。

孙仕亮 博士，华东师范大学教授。博士毕业于清华大学，曾在University College London，Rutgers University，Columbia University 从事访问研究工作，并连续8年入选中国高被引学者榜单。从事模式识别、机器学习、自然语言处理、计算机视觉等领域的研究，具体研究包括概率模型及推理、多视图学习、深度学习、强化学习等。迄今发表学术论文100余篇，多篇论文发表于IEEE TPAMI、JMLR、IEEE TNNLS、ICML、IJCAI等国际顶级期刊和会议。

第1章绪论

1.1基本概念

1.1.1视图一致性假设

1.1.2公共特征表示假设

1.2典型的多视图表示学习系统

1.2.1多模态生物特征识别

1.2.2多传感器融合的自动驾驶

1.2.3基于图像的多模态机器翻译

1.3后续章节安排

参考文献

第2章多视图表示学习基础

2.1视图一致性度量方法

2.1.1视图相似性度量方法

2.1.2视图相关性度量方法

2.2多视图表示融合方法

2.2.1基于图的多视图表示融合方法

2.2.2基于神经网络的多视图表示融合方法

参考文献

第3章多视图受限玻耳兹曼机模型

3.1后验一致性受限玻耳兹曼机模型

3.1.1二视图数据融合的后验一致性受限玻耳兹曼机模型

3.1.2PCRBM模型在二视图数据上的推理和学习

3.1.3PCRBM模型的扩展模型

3.2后验一致性和领域适应受限玻耳兹曼机模型

3.2.1二视图数据融合的后验一致性和领域适应受限玻耳兹曼机模型

3.2.2PDRBM模型在二视图数据上的推理和学习

3.2.3PDRBM模型在多视图上的应用

3.3实验与分析

3.3.1实验设置和数据集

3.3.2算法比较与分析

参考文献

第4章基于图结构的多视图玻耳兹曼机模型

4.1实用的近邻图受限玻耳兹曼机模型

4.1.1基于近邻正则化的图受限玻耳兹曼机模型

4.1.2相关分析

4.2基于图结构的多视图受限玻耳兹曼机模型

4.2.1推理和学习

4.2.2相关分析

4.3实验与分析

4.3.1实验设置

4.3.2算法比较与分析

参考文献

第5章基于多视图关键子序列的多元时间序列表示学习模型

5.1基于自适应近邻的无监督关键多元子序列学习方法

5.1.1无监督的关键子序列学习模型概述

5.1.2基于自适应近邻的无监督关键多元子序列学习模型概述

5.1.3优化和学习

5.1.4收敛性分析

5.1.5相关分析

5.2基于自适应近邻的多视图无监督关键多元子序列学习方法

5.2.1模型概述

5.2.2优化和学习

5.2.3评论和复杂性分析

5.3实验与分析

5.3.1实验设置

5.3.2算法比较与分析

参考文献

第6章不完整多视图非负表示学习模型

6.1不完整多视图非负表示学习方法

6.1.1模型概述

6.1.2优化和学习

6.2模型分析

6.2.1收敛性分析

6.2.2复杂性分析

6.2.3模型概述

6.3实验与分析

6.3.1实验设置

6.3.2算法比较与分析

参考文献

第7章基于图补全和自适应近邻的不完整多视图表示学习模型

7.1基于图补全和自适应近邻的不完整多视图非负表示学习方法

7.1.1模型概述

7.1.2优化和学习

7.2模型分析

7.2.1相关性分析

7.2.2复杂性分析

7.3实验与分析

7.3.1实验设置

7.3.2算法比较与分析

参考文献

第8章总结与展望

8.1总结

8.2研究前沿及展望

8.2.1可信多视图表示学习

8.2.2面向视图缺失场景/视图不对齐场景的多视图表示学习