摘要：
实际数据通常是从多个渠道收集或由不同的表示形式（即视图）组成。多视图学习提供了一种优雅的方法来分析多视图数据以进行低维表示。近年来，已经设计了几种多视图学习方法并将其成功应用于各种任务。但是，现有的多视图学习方法通常以单层公式（a single layer formulation）表示。由于获得的表示形式和原始数据之间的映射，包含具有隐式较低级隐藏属性（implicit lower-level hidden attributes）的相当复杂的层次结构信息，因此希望对层次结构进行全面探索。
本文通过分层揭示输入数据的层次语义，提出了一种新颖的深度多视图聚类模型。通过利用新颖的协作式深矩阵分解框架，可以针对不同属性学习隐藏表示。所提出的模型能够协同学习由每一层获得的分层语义。来自同一类的实例在低维空间中被迫逐层靠近，这对于后续的聚类任务是有利的。此外，一个理想权重将自动分配给每个视图，而不会像以前的方法那样引入额外的超参数。
为解决模型的优化问题，提出了一种有效的迭代更新算法，并在理论上保证了其收敛性。我们对多视图聚类任务的实证研究表明，与最新算法相比，我们模型的结果令人鼓舞。
tag: Multi-view learning has been successfully applied in face recognition, image classification, text mining, etc. Since graph-based methods suffer from the problem of time-consuming due to the graph construction as well as the eigen decomposition, more and more researchers focus on applying the MF strategy to solve the multi-view learning problems.
该模型的两个关注点：
(1) 基于MF的工作通常以单层公式工作，获得的表示形式与原始数据之间的映射包含复杂的层次结构，因此作者想利用多层结构去获取不同的低维的数据隐藏属性。As a result，来自同一类别但来自不同视图的实例在低维空间中被迫逐层靠近。
(2) 基于分层揭示输入数据的层次语义，为不同数据视图分配不同的权重，与聚类任务相匹配对应。
模型图注解：
相同的形状表示实例属于同一类。我们可以看到面部数据的可变性可能源于诸如对象的姿势（左眼，右眼或前眼）或面部表情（带有或不带有微笑）的属性。通过利用所提出的深层结构，可以完全充分利用视图所共享的分层信息。最后，生成更具判别力的表示形式（like the representation show in 3rd layer）。
(NMF) 给定非负数据矩阵
NMF的目的是寻找
先前的研究表明NMF等同于宽松的k均值聚类，这是一种基于质心的方法，仅适用于单视图数据聚类。传统的NMF无法完全发现这些因素的隐藏结构。数据矩阵的多层分解过程可以表示为:
整篇文章的目的在于：将传统的MF模型扩展到用于学习多视图聚类的新型深度矩阵分解框架。
问题的形式化：
- 目标函数（共包含M个视图的多视图数据）
相对于多层深度矩阵分解的思路而言，这里可以相当于是对M个视图进行同时的学习约束的过程，因此目标函数是M个视图的求和操作，每个视图有对应的约束条件。由作者的想法而言，其目的是为了在学习的过程中，我们可以在M个视图中得到共同的、唯一一个Vr可表示不同的视图。
- 自动加权深度MF多视图聚类（Auto-weighted deep MF multi-view clustering）
首先作者提出了一个新奇的模型用于多视图聚类
从上述定义可以看出此时未考虑不同视图之间的权重，或者可以说所有视图的权重都是1。当我们将权重参数假设为固定值（不依赖于Vi^(m) and Ui^(m)）的时候，可利用在公式（5）的方法都可以自然的应用到如下设定中，
作者此时使用了公式（9）来更新Vi^(m) and Ui(m)，此时a(m)的值也可以进一步更新，并启发我们使用迭代的方式去优化公式（5）。
- 优化方式
作者提出了一种有效的迭代更新算法来解决等式的优化问题（9）。针对一个变量优化目标，同时固定其他变量。重复此过程，直到收敛为止。（有点像EM算法中的迭代）
我们需要为每个视图都进行预训练来初始化分解过程。注意，预训练过程可以通过简单地使用k-means来完成，因为松弛k-means等效于矩阵分解法。重复该过程，直到所有层都经过预训练为止。
在文章中，作者用了很多巧妙的替换，使得过程变得容易让人接受。读来循序渐进，同时如果我们想将多视图聚类和矩阵分解结合的话还需要补充学习很多相关的数学知识。
关于toy data很有趣的展示。
