Multimodal Neuroimaging Feature Learning With Multimodal Stacked Deep Polynomial Networks for Diagnosis of Alzheimer’s Disease 多模态神经影像学特征学习多模态叠加深度多项式网络诊断阿尔茨海默病

Abstract

阿尔茨海默病（AD）及其早期阶段（即轻度认知障碍）的准确诊断对于及时治疗和可能的AD延迟至关重要。多模态神经影像数据的融合，如磁共振成像（MRI）和正电子发射断层扫描（PET），已显示其对AD诊断的有效性。深度多项式网络（DPN）是最近提出的深度学习算法，其在大规模和小尺寸数据集上都表现良好。在这项研究中，提出了一种多模式堆叠DPN（MM-SDPN）算法，MM-SDPN由两级SDPN组成，用于融合和学习用于AD诊断的多模态神经成像数据的特征表示。具体而言，两个SDPN首先用于分别学习MRI和PET的高级特征，然后将其输入另一个SDPN以融合多模态神经影像信息。建议的MM-SDPN算法应用于ADNI数据集，以进行二进制分类和多类分类任务。实验结果表明，MM-SDPN优于最先进的基于多模态特征学习的算法用于AD诊断。

Index Terms—Alzheimer’s disease, deep learning, deep polynomial networks, multimodal stacked deep polynomial networks, multimodal neuroimaging.

I. INTRODUCTION

ALZHEIMER'S DISEASE（AD）是最常见的进行性神经退行性脑疾病之一，导致全世界老年人逐渐，不可逆转的记忆丧失和其他认知功能[1]。预计到2050年世界范围内AD患者人数将增加到1亿[2]。由于AD患病率的急剧增加，AD的准确诊断及其早期即轻度认知障碍（MCI）对于及时治疗和可能的AD延迟至关重要。
在过去的几十年中，神经成像技术，如磁共振成像（MRI），功能磁共振成像（fMRI）和正电子发射断层扫描（PET），已经深入推进了神经科学研究和临床应用[3]，[4]。可识别的成像生物标记物已被有效地用于AD的诊断或预后，这是由于它们通过神经成像可视化和定量测量脑结构和功能信息的优点[5] - [7]。
近年来，基于神经影像学的AD计算机辅助诊断（CAD）引起了人们的广泛关注[4]，[8] - [10]。此外，由于不同的神经影像学模型，如MRI和PET，可以提供不同的和互补的信息，以提高AD的诊断性能[4]，[11]，[12]，基于多模态神经影像学的AD分类具有引起了相当多的关注[4]，[13] - [18]。
CAD中机器学习算法的性能通常取决于数据表示（或特征），因此特征提取成为分类框架中的关键步骤[10]，[19]。用于神经成像数据的最常用的特征提取方法可以大致分为四类[8]，[20]：1）基于体素的方法，简单直接从体素强度中提取特征; 2）基于顶点的方法，其特征在皮质表面的顶点水平处定义; 3）基于感兴趣区域（ROI）的方法，从预定义的大脑区域提取特征; 4）基于补丁的方法，从本地补丁中学习新的特征表示。基于体素和顶点的特征通常具有非常高的维度，因此降低维数对于实现更紧凑和有效的特征是重要的。基于ROI的功能被广泛使用，因为它们不仅具有相对较低的特征维度，而且还覆盖整个大脑。然而，从ROI中提取的特征有些粗糙，并且不能反映脑疾病中涉及的微小或微妙变化。基于补丁的特征是从整个大脑中学习的，并且可以有效地捕获与疾病相关的病理。结果，这些特征通常可以获得更好的分类结果[20] - [24]。基于补丁的特征的方式本质上是一种特征重新表示的过程，用于学习，然后利用学习算法生成新的特征空间，其中深度学习（DL）已经实现了最先进的性能 [20]，[24]。

DL在各种应用中取得了巨大的成功，因为它是由Hinton等人首次引入的。在2006年[25]，[26]。与传统的浅层结构学习架构相比，DL开发了一种分层的分层架构，以产生高水平和更有效的数据表示[19]，[27]，[28]。近年来，DL在医学成像领域获得了良好的声誉，例如医学图像分类，检测和分割[29] - [35]。
在神经成像数据的情况下，DL可以有效地发现潜在或隐藏的表示，因此它已成功应用于AD和其他脑部疾病的诊断。 Suk等人。使用多模式深度限制玻尔兹曼机（RBM）来学习多模神经影像数据中的巨大3D斑块的特征，用于AD / MCI诊断[20]。古普塔等人。使用堆叠自动编码器（SAE）从自然图像中学习一组基础，然后应用卷积网络以获得更有效的AD分类特征表示[23]。 Brosch等人。通过深度置信网络（DBN）算法学习了一个低维数量的脑容量，以检测与AD的人口统计学和疾病参数相关的变异模式[36]。谢尔盖等人。还使用RBM和DBN来学习MRI和fMRI用于精神分裂症诊断的特征[34]。 Ithaput等。开发了一种随机去噪自动编码器算法，用于学习AD临床试验的高维神经影像学特征[37]。刘等人。还提出了一种基于SAE的多模态神经成像特征学习算法，用于学习基于ROI的AD诊断特征的特征表示[38]。 Payan和Montana结合稀疏自动编码器和卷积神经网络来学习AD预测局部斑块的特征表示[24]。 Suk和Shen将SAE与多任务特征选择和多核学习（MKL）算法结合起来，以学习用于AD分类的多模态神经影像数据和脑脊液（CSF）特征的ROI特征的潜在特征表示[39]。他们还提出了一种深层体系结构，以分层方式选择具有稀疏多任务学习功能的AD诊断功能[40]。李等人。开发了一种基于丢失技术的稳健多任务深度学习框架，以改善ADI / MCI诊断的ROI特征的表示[41]。陈等人。提出从纵向T1 MRI图像中提取特征，然后应用堆叠去噪稀疏自动编码器（SDSAE）融合这些特征以进行AD分期分析[42]。
另一方面，深度多项式网络（DPN）是一种新开发的有监督DL算法，其中每个节点计算其输入的线性或二次函数，因此学习的预测变量是输入空间上的多项式函数[43]。它不依赖于复杂的启发式，并且易于实现。与DBN算法相比，DPN在一些常用的大规模图像数据集上也取得了竞争性能[43]。值得注意的是，DPN还可以紧凑地表示有限样本数据集上的任何函数，因为其算法结构最初是针对小数据集开发的[43]。

由于神经影像数据集通常具有较小的标记样本[10]，作为小数据集的适当特征表示算法，受监督的DPN将潜在地从用于AD诊断的小神经影像数据中学习优越的特征表示。另一方面，特征提取的逐层堆叠通常在DL [19]中产生更好的表示，例如DBN和SAE [25]，[44]，这促使开发堆叠DPN（SDPN）算法以学习更高级别的特征表示。此外，已经证明，可以同时学习和融合多模态神经影像数据的多模式DL算法优于用于AD分类的单模态DL算法[20]，[38]，[39]，[41]。因此，值得研究多模堆叠DPN算法。
在这项工作中，提出了由上述因素驱动的多模式堆叠DPN（MM-SDPN）算法，然后将其应用于基于多模态神经成像的AD诊断。 MM-SDPN可以有效地融合和学习多模态神经影像学中的特征表示。
本文的其余部分安排如下。第二节提供了有关原始DPN和提议的MM-SDPN算法的介绍。所进行的实验和结果在第III节中给出，以评估所提出的MM-SDPN算法的性能。讨论和结论分别在第IV和V节中介绍。

II. METHODS

A. Deep Polynomial Networks Algorithm

B. Stacked Deep Polynomial Networks

C. Multimodal Stacked DPN

为了通过SDPN融合和学习来自多媒体数据的特征表示，一个简单的解决方案是连接不同模态的所有向量。然而，这种简单的连接策略在一定程度上忽略了多种模态的多样性，并且不能很好地探索互补性质并且代表多种模态之间的高度非线性相关性。因此，我们提出了一种基于两级SDPN的MM-SDPN算法，如图4所示。
在第一阶段，每个神经影像数据将被馈送到其相应的SDPN模块，以学习高级特征表示。每种特定模态的高级特征反映了它自己的属性，但不同模态之间没有相关信息。然后，所有学习的特征在第二阶段被馈送到新的SDPN模块，以便与所有模态相关联。因此，最终学习的高级特征既包含每种模态的内在属性，也包含所有模态之间的相关性。因此，SDPN学到的特征更具有辨别力和鲁棒性。
在这项工作中，我们采用MRI和PET作为两种神经影像模式，这些模式常用于基于多模态神经影像学的AD分类[13] - [18]，[38]。值得注意的是，MM-SDPN中的融合策略与[38]中基于多模SAE的算法中的融合策略不同，以发现MRI和PET之间的协同作用。在[38]中，刘等人。采用预训练方法和一定比例的损坏输入，只有一种模态。特别是，他们通过将这些输入设置为0来随机隐藏一种模态，然后使用两种模态呈现其余训练样本。第一级AE中的隐藏层经过训练，可以重新组合输入中隐藏模态的所有原始输入。原始输入和损坏的输入都独立地传播到更高的网络层以实现清洁表示。在我们的MM-SDPN算法中，由于DPN在每个网络层中执行前馈监督学习而没有精细转向，因此难以执行与[38]中相同的学习策略来推断MRI和PET之间的相关性。因此，通过联合训练第二阶段SDPN与在第一阶段中学习的级联MRI和PET特征来学习共享表示。它类似于[42]中使用的简单融合方法。

III. EXPERIMENTS AND RESULTS

A. Neuroimaging Data Preprocessing

为了评估提出的MM-SDPN算法的性能，这里使用来自阿尔茨海默病神经影像学倡议（ADNI）数据库的多模态神经影像学数据（www.loni.ucla.edu/ADNI）[45]。根据参考文献[14]，我们使用了相同的MRI和PET图像来自51名AD患者，99名MCI患者（43名MCI转换器（MCI-C），进展至AD，以及56名MCI非转换器（MCI-NC），谁没有在18个月内进展到AD，和52个正常对照（NC）具有相同的预处理和特征生成方法。
具体而言，预处理首先在MRI图像上进行，包括前连合（AC） - 后连合（PC）校正，N3算法强度不均匀[46]，以及由小脑提取的颅骨剥离和去除小脑。王等人。 [47]，[48]。然后通过FSL包中的FAST算法将MR图像分割成三种不同的组织，即灰质，白质和脑脊液[49]。在通过HAMMER算法[50]注册后，每个MR图像被分成93个ROI，基于模板，Kabani等人使用93个手动标记的ROI。 [51]。然后计算灰质组织的体积作为每个ROI的特征，产生93个特征。然后通过刚性配准将每个PET图像与其对应的MRI图像对准。将相同ROI的平均强度计算为PET图像的特征。因此，分别从MRI和PET图像中提取93个特征。

B. Performance Evaluation

执行四个分类任务，即AD与NC，MCI与NC，MCI-C与MCI-NC，以及AD与MCI-C对比MCI-NC对NC。
首先将提出的MM-SDPN算法与以下原始DPN和SDPN算法进行比较：（1）原始DPN分别从原始MRI和PET特征（称为DPN-3 MRI和DPN）的3层网络学习的特征-3-PET）; （2）原始DPN分别从原始MRI和PET特征（称为DPN-6-MRI和DPN-6-PET）获得的6层网络学习的特征; （3）SDPN分别从原始MRI和PET特征中学习的特征（称为SDPN-MRI和SDPN-PET）; （4）SDPN从连锁的MRI和PET特征（称为SDPN-MRI-PET）中学到的特征; （5）MM-SDPN从原始MRI和PET特征中学到的特征。
我们还将提出的MM-SDPN算法与用于AD分类的九种最先进的基于多模态学习的算法进行了比较，如表I所示。值得注意的是ADNI的MRI和PET子集以及提取的ROI特征。在我们的工作中，与参考文献[14]，[18]，[39]，[40]和[41]中使用的数据和特征相同。
在这项工作中，SDPN由2级基本DPN堆叠，每个基本DPN由3层网络组成。值得注意的是，上述SDPN也用于MM-SDPN。原始DPN算法主要有两个参数，即网络层数和每层隐藏节点数。在设置3层和6层DPN之后，我们通过对训练数据集进行贪婪搜索得到DPN-3算法中的数字隐藏节点，然后将它们作为所有其他基于DPN的算法的初始参数。进一步微调。
在这项工作中，SDPN由2级基本DPN堆叠，每个基本DPN由3层网络组成。值得注意的是，上述SDPN也用于MM-SDPN。原始DPN算法主要有两个参数，即网络层数和每层隐藏节点数。在设置3层和6层DPN之后，我们通过对训练数据集进行贪婪搜索得到DPN-3算法中的数字隐藏节点，然后将它们作为所有其他基于DPN的算法的初始参数。进一步微调。
两种分类器，即嵌入式线性分类器（LC）和线性支持向量机（SVM）[53]，被用来更全面地评估基于DPN的特征的性能。 SVM使用LIBSVM工具箱[54]执行。从单模式MRI或PET提取的原始ROI特征仅由SVM分类器处理。
对所有算法执行10倍交叉验证策略，并且该过程独立重复5次，以避免在交叉验证中随机分区数据集引入的采样偏差。选择分类准确度（ACC），灵敏度（SEN）和特异性（SPE）作为评估指标。分类结果由所有50个结果的平均值±SD（标准偏差）的格式给出。此外，接收器操作特性（ROC）曲线和ROC曲线下面积值（AUC）也用于SVM分类器。

C. Results on AD vs. NC

在AD和NC的分类中，表II显示了使用SVM分类器的不同特征学习算法的分类结果。可以发现MM-SDPN算法达到最佳性能，平均分类精度为97.13±4.44％，灵敏度为95.93±7.84％，特异性为98.53±5.05％，因为它成功地融合了MRI和PET信息。另一方面，尽管DPN-6（具有6层网络的DPN）在基于单一模态成像的AD分类的MRI和PET数据上优于DPN-3，但SDPN仍然比DPN-6略好，这表明其有效性由于堆叠技术的SDPN。
图5显示了不同算法的ROC曲线及其相应的AUC值。 MM-SDPN（0.972）的AUC值优于其他值。
如表III所示，当应用线性分类器时，不同的算法具有与表II中相似的趋势，这表明它不是分类器，而SPDN在最终分类性能中起关键作用。所提出的MM-SDPN算法再次获得最佳分类精度96.93±4.53％，灵敏度95.02±8.56％，特异性98.37±5.66％。 SDPN算法也优于原始DPN。在这里，DPN-6对于MRI和PET数据仍然优于DPN-3，但是SDPN比DPN-6获得了更好的结果。
表IV给出了所提出的MM-SDPN和其他最先进的基于多模态学习的算法的比较结果。 MM-SDPN在所有评估指标上都优于所有其他具有SVM和线性分类器的算法。与其他非SDPN多模态学习算法相比，具有SVM的MM-SDPN在准确度，灵敏度和特异性方面分别提高了至少1.23％，1.22％和2.20％，这表明了所提出的MM-SDPN算法的有效性。融合并学习MRI和PET数据的特征表示，用于AD分类。值得注意的是，提出的MM-SDPN算法优于[14]，[18]，[39]，[40]和[41]中的这些算法，在具有相同ROI的ADNI的相同MRI和PET子集上。特征。

D. Results on MCI vs. NC

表V和VI分别显示了使用SVM和线性分类器对MCI与NC分类的不同基于DPN的算法的结果。可以看出，MM-SDPN仍然优于SVM和线性分类器的所有其他方法。最佳分类准确度，灵敏度和特异度分别为87.24±4.52％，97.91±4.17％和67.04±9.29％，SVM分别为86.99±4.82％，94.24±6.16％和71.32±9.93％。线性分类器。尽管DPN-6优于DPN-3，但SDPN在基于单模态成像的MRI和PET数据上的MCI分类方面优于DPN。
图6显示了不同算法的ROC曲线及其相应的AUC值，MM-SDPN达到了第二次性能，ROC值为0.901。
值得注意的是，在表V和VI中，由于样本不平衡问题，MCI患者的样本是NC受试者的两倍，因此灵敏度远高于MCI对NC的特异性。另一方面，对于MCI与NC，PET的结果优于MRI，这可以通过相对生物标志物的时间排序的理论模型来解释[55]。具体而言，FDG-PET代谢测量的变化先于MCI患者MRI脑结构的变化[55]。
如表VII所示，MM-SDPN再次优于比较的基于多模态学习的算法。与其他非SDPN算法相比，具有SVM的MM-SDPN分别在准确度和灵敏度方面提高了1.57％和2.54％。只有[38]中SAE的特异性非常高，但准确度和灵敏度都很低。

E. Results on MCI-C vs. MCI-NC

众所周知，MCI-NC的MCI-C分类通常很困难，如先前的工作[18]，[20]，[41]所示。表VIII和IX给出了具有不同分类器的MCI-C对MCI-NC的不同基于DPN的算法的结果。可以观察到MM-SDPN再次获得最佳结果，其SVM分类器的平均分类准确度，灵敏度和特异性分别为78.88±4.38％，68.04±9.99％和86.81±9.12％，76.52±5.99线性分类器分别为％，62.50±10.65％和86.27±7.49％。对于这项困难的任务，SDPN对于单一模态神经成像数据的性能要比DPN-6和DPN-3好得多。
在图7中示出了不同算法的ROC曲线及其相应的AUC值，并且MM-SDPN再次实现了AUC值为0.801的最佳性能。
从表X可以看出，对于如此困难的分类任务，所提出的MM-SDPN仍然优于所有其他非SDPN多模态特征学习算法，提高了准确度和灵敏度至少2.96％和1.99％，分别用SVM分类器。基于深度RBM的算法实现了最佳特异性，但灵敏度较低。

F. Results on AD vs. MCI-C vs. MCI-NC vs. NC

AD与MCI-C与MCI-NC与NC的多类分类是一项非常艰巨的任务。 表XI和XII的结果与其他二元分类的结果相似，表明MM-SDPN的分类精度为57.00±3.65％，灵敏度为53.65±4.04％，SVM的特异性为85.05±1.39％。 线性分类器的相应结果为55.34±4.57％，52.49±6.12％和84.18±1.99％。 同样，SDPN仍然优于DPN。
此外，如表XIII所示，与最先进的基于SAE的算法[38]相比，我们提出的具有SVM分类器的MM-SDPN算法实现了分类精度提高3.21％和灵敏度提高1.51％。

IV. DISCUSSION

在这项工作中，我们提出了一种MM-SDPN算法，可以有效地学习基于多模态神经影像学的AD诊断的特征。 ADNI数据集上的四组实验结果表明，与最先进的基于多模态学习的算法相比，所提出的MM-SDPN算法实现了最佳性能。特别，
在我们的研究中，原始ROI特征是低级特征，不能以良好的差异化方式表示AD的属性。当应用DPN来学习ROI特征的特征时，提供了更复杂的表示，因此DPN已经实现了显着的改进。在多次堆叠基本DPN块之后，获得更高级别的表示。因此，对于基于单模态神经成像的AD分类，SDPN比原始DPN具有更好的性能。值得注意的是，尽管随着隐层的增加，6层DPN优于3层DPN，但是根据神经网络中的通用逼近定理，太深的网络将增加计算复杂度，而近似的精度没有明显增加。工作。另一方面，结果还表明，具有两个3层DPN的SDPN优于6层DPN，因为第二层基本DPN中第一层的基础建立在更高级别的特征上，即串联特征第一级基本DPN，这个基础将在学习二级DPN后生成更有效和更高级别的功能。此外，与具有更深网络的DPN相比，SDPN更容易调整参数以实现相同的性能。
由于多模态神经影像数据的融合可以有效地有利于AD诊断的分类性能，因此提出了一种MM-SDPN算法，该算法由两阶段SDPN组成。两个SDPN分别应用于MRI和PET的ROI特征，以获得第一阶段中每种模态的摘要。然后将两个学习的特征集中并馈送到新的SDPN以学习融合特征，其包括每种模态的固有特性以及MRI和PET之间的相关性。与直接将单个SDPN应用于MRI和PET的集中ROI特征的方式相比，第一阶段DPN学习的高级特征将有益于并提高MM-SDPN中第二阶段SDPN的学习性能，因此， MM-SDPN具有更有效的学习和融合多模态神经影像数据的能力。
在这项研究中，两个分类器，即SVM和线性分类器，用于评估SDPN和MM-SDPN的性能。两个分类器都给出了类似的结果，这表明AD分类的良好性能更多地取决于学习的特征而不是分类器。因此，MM-SDPN真正有效地学习了一个好的特征表示。
DPN的三个主要特性有助于MM-SDPN的优异性能如下。 （1）神经影像数据集通常具有小的标记样本。当将DPN应用于如此小的数据集时，其构建的网络具有小节点，这保证了训练有素的深度网络和小样本[42]。 （2）在DPN网络中，第一个k层的节点构成了由k次多项式获得的所有值的基础。因此，DPN网络可能具有较大的偏差，但往往不会过度拟合（即低方差），即使对于较深的网络，偏差也会随着方差的增加而逐渐减小。因此，原则上，可以通过控制偏差 - 方差权衡来抑制过度拟合[43]。此外，DPN中的中间层连接非常稀疏，即中间层中的每个节点仅限于连接到少数其他节点，而不是前一层中的所有节点，这可以防止过度拟合[43]。因此，DPN的算法结构使其适用于小型数据集。 （3）由于神经影像数据通常仅提供有限的标记地面实况样本，并且先验标签信息有利于小数据的分类任务，因此监督DPN比不受控制的DL算法更适合于小神经成像数据集。此外，如工作中所示，所提出的MM-SDPN优于[38]和[39]中基于精细转向的监督SAE算法。

DPN是一种新的DL算法，其理论和算法的改进仍然很少。因此，在未来的工作中，我们不仅要进一步改进DPN算法，还要更加注重分析DPN的框架，特别是DPN与其他DL算法的区别。另一方面，本工作中提出的MM-SDPN算法显示了其对小数据集的有效性。事实上，DPN已经在[43]中从大规模数据中学习特征方面获得了良好的声誉。由于在连续的基本DPN之间没有前向和后向反馈，因此SDPN和MM-SDPN相对简单且快速。因此，它们也有望用于大规模数据。在未来的工作中，我们计划应用MM-SDPN直接从局部MRI和PET片段学习特征表示，这与[20]中的方法类似。此外，未来还将研究半监督MM-SDPN，因为获取有助于提高表征学习性能的未标记医学图像相对容易。由于MKL成功应用于多模态神经影像学数据，我们将尝试将MKL与MM-SDPN结合用于AD分类。来自第二阶段SDPN的学习特征和来自第一阶段SDPN中的MRI和PET的各个学习特征可以被视为MKL的多视图数据。因此，CSF功能也可以嵌入到MKL中，这有可能通过基于MM-SDPN和MKL的框架提高AD分类的性能。

V. CONCLUSION

在这项工作中，提出了一种MM-SDPN算法。 它由两阶段SDPN组成，可以有效地学习和融合多模态数据，用于诊断阿尔茨海默病。 MM-SDPN实现了最先进的表现，用于对AD进展的两个阶段和四个阶段进行分类。 因此，所提出的MM-SDPN不仅可以作为多模神经成像数据的强大表示算法，还可以用于其他医学数据。

ACKNOWLEDGMENT

作者要感谢阿尔茨海默氏病神经影像倡议为本文提供数据。