多模式机器学习可实现广泛的应用：从视听语音识别到图像字幕。在本节中，我们将介绍从视听语音识别开始到最近对语言和视觉应用的多模式应用的简要历史。
多模式研究最早的例子之一是视听语音识别（AVSR）[243]。它的动机是麦格劳克效应[138] - 在言语感知过程中听觉和视觉之间的相互作用。当人类受试者听到音节/ ba-ba /同时观看一个人的嘴唇说/ ga-ga /时，他们会感觉到第三种声音：/ da-da /。这些结果促使来自语言社区的许多研究人员用视觉信息扩展他们的方法。鉴于当时语音社区隐藏马尔可夫模型（HMM）的突出[95]，AVSR的许多早期模型基于各种HMM扩展[24]，[25]并不奇怪。虽然目前对AVSR的研究并不常见，但深度学习社区再次引起了人们的兴趣[151]。虽然AVSR的最初愿景是在所有情况下提高语音识别性能（例如，字错误率），但实验结果表明视觉信息的主要优点是当语音信号有噪声时（即，低信噪比）比例）[75]，[151]，[243]。换句话说，模式之间捕获的相互作用是补充而非互补。两者都捕获了相同的信息，提高了多模式模型的稳健性，但没有提高无噪声场景下的语音识别性能。
第二个重要的多模式应用类别来自多媒体内容索引和检索领域[11]，[188]。随着个人电脑和互联网的发展，数字化多媒体内容的数量急剧增加[2]。虽然早期的索引和搜索这些多媒体视频的方法都是基于关键词的[188]，但在尝试直接搜索视觉和多模式内容时出现了新的研究问题。这导致了多媒体内容分析的新研究课题，如自动镜头边界检测[123]和视频摘要[53]。这些研究项目得到了美国国家标准与技术研究所的TrecVid计划的支持，该计划引入了许多高质量的数据集，包括2011年开始的多媒体事件检测（MED）任务[1]。第三类应用是在21世纪初围绕多模式互动的新兴领域建立的，其目标是在社会交往中理解人类多模态行为。在这个领域收集的第一个具有里程碑意义的数据集之一是AMI会议语料库，其中包含超过100小时的会议录像，全部完整转录和注释[33]。另一个重要的数据集是SEMAINE语料库，它允许研究说话者和听众之间的人际关系动态[139]。该数据集构成了2011年组织的第一次视听情绪挑战（AVEC）的基础[179]。由于自动面部检测，面部标志检测和面部表情识别方面的强大技术进步，情感识别和情感计算领域在2010年初开始蓬勃发展[46]。AVEC的挑战随后每年都在继续，后来的实例包括医疗应用，如自动评估抑郁和焦虑[208]。D'Mello等人发表了关于多模式情感识别最近进展的一个很好的总结。 [50]。他们的荟萃分析显示，最近大多数关于多元影响识别的研究表明，当使用多种方式时，这种方法有所改善，但在识别自然发生的情绪时，这种改善会减少。
最近，出现了一种新的多模式应用，强调语言和愿景：媒体描述。最具代表性的应用之一是图像字幕，其任务是生成输入图像的文本描述[83]。这是因为这种系统能够帮助视障人士完成日常工作[20]。媒体描述的主要挑战是评估：如何评估预测描述的质量。最近提出了视觉问答（VQA）的任务，以解决一些评估挑战[9]，其目标是回答关于图像的特定问题。
为了将一些上述应用程序带入现实世界，我们需要解决多模式机器学习所面临的许多技术挑战。我们总结了表1中上述应用领域的相关技术挑战。最重要的挑战之一是多模式表示，这是我们下一部分的重点。
