文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。

近几十年来，功能性近红外光谱（fNIRS）等非侵入性、便携式神经成像技术的出现，使研究人员得以深入研究人脑功能性认知发展的机制，从而进一步发挥发展认知神经科学（DCN）的潜力。然而，用于分析婴儿fNIRS数据的传统范式仍然是有限的。因此，本文研究者介绍了一种fNIRS数据的多元模式分析（xMVPA），并通过可解释的人工智能模型（XAI）进行解释。该方法在通过一项调查6个月大的婴儿的视觉和听觉加工研究中得到了验证。xMVPA不仅识别了能够证实现有研究的皮层相互作用的模式，而且也给概念性语言表征形式提供了证据，证明大脑网络参与了先前被其他方法忽略的对视觉和听觉刺激的加工过程。

1.前言

发展认知神经科学（developmental cognitive neuroscience, DCN）是一个跨学科的领域，旨在建立大脑结构变化与个体发展中不同时间点的认知过程变化之间的联系。DCN研究通过对脑功能发展和神经网络的测量逐渐专业化来考察遗传变异和环境因素之间的相互作用，及其对典型和非典型发育轨迹的影响。

发展研究的关键限制与神经成像技术有限的选择性有关，神经成像技术可以非侵入性地记录大脑活动，但其使用的标准化和数据分析的可解释性仍存在争议。例如，虽然磁共振成像（MRI）可能被认为是成人研究中专门的神经成像工具，但它一般不适合DCN研究，因为年轻的参与者被要求在密闭、受约束的环境中停留相当长的时间（关于婴幼儿的研究则不太适用）。同样，虽然脑电图（EEG）及其相关的事件相关电位（ERP）方法经常被用于研究人类大脑的发展，但是其空间分辨率低且对运动伪迹比较敏感，这使得全面研究发展中的大脑面临很大的挑战。

近年来，fNIRS已成为研究婴儿大脑发展及其与认知行为关系的较好选择。fNIRS是一种无创、便携的光学神经成像方法，使用近红外光测量大脑活动，具有良好的时间和空间分辨率。这使科学家能够在实验室环境和自然环境中研究睡着和醒着的婴儿。

然而，尽管最近在DCN中fNIRS技术的使用增加了，但婴儿fNIRS数据分析缺乏标准、规范和可解释的框架，限制了其将结果映射到相应激活区域与大脑区域之间的联系的潜能。在大脑发展过程中，大脑皮层网络用于处理感知刺激，对这一问题的深入理解将有助于我们了解在大脑发育过程中，激活的大脑区域生长与新的行为能力出现之间的相互作用。为此，研究者介绍了一种用于婴儿fNIRS数据的可解释的人工智能（XAI）推断机制，该机制描述了对知觉刺激作出反应的大脑区域之间的交互模式。

在成人fNIRS分析中，现有的推理框架涉及到建模技术的使用，该技术假设来自所有参与者的信号数据共享标准属性。这些模型是基于这样一个假设，即对特定刺激产生的典型血流动力学响应函数可以表示为几个来源（回归量）的线性组合。基于先验的建模，如基于种子点的功能连接性分析，在很大程度上依赖于作为种子点的通道的选择。目前的分析框架是为静态建模而设计的，因此不能扩展到研究经历持续变化和发展的大脑过程。正如Rosenberg等人(2018)的一篇综述中所强调的那样，有必要在DCN中研究新的分析视角，因为基于成人研究的模型不足以研究发展中的大脑。与目前研究的目标一致，Rosenberg和同事们鼓励使用数据驱动的预测模型，以阐明引起认知和行为发展的神经回路。

最先进的机器学习算法（如SVM，RF，基于神经网络的方法）用于预测分析神经成像数据，并专门用于根据输入数据（大脑反应）区分类别（刺激）。然而，这些范式并不能解释不同刺激下大脑活动的典型关系。深度学习是神经数据分析的一个很有前景的新兴领域。对于系统的神经科学来说，深度学习可以提供大脑的抽象化，从理论角度研究神经加工及其结构组织。在认知神经科学中，特别是在fNIRS中，统计模型（如线性回归）也是一种不错的选择。这可能是由于通过实验收集的数据相对有限，以及认知神经科学家需要使用直接的方法来解码和解释神经成像数据的复杂多元模式。在DCN中，这种限制被放大了，数据收集带来了额外的挑战，如婴儿参与者对实验规则的遵从情况，因此，婴儿研究中的样本量相对于成年人的神经成像研究中的样本量相对较小。

另一种分析范式是多元模式分析 (MVPA)，它首先被用于成人的fMRI数据分析中，最近被用于研究婴儿的心智。MVPA可以同时解释多个fNIRS通道的活动，以识别大脑区域对刺激反应中的激活差异。通过使用N个维度，由N个fNIRS通道方法产生，MVPA方法有潜力根据分布模式的相应激活水平来确定大脑区域之间的关联，而不是仅仅作为一个单一来源进行测量。在fNIRS研究中，用于支持MVPA的两种标准分类范式是基于相关性的MVPA分析和经典的机器学习技术（如LDA，SVM）。尽管MVPA与单变量分析相比具有更高的敏感性，但作为MVPA基础的方法（无论是相关还是经典机器学习）并没有本质上概括出与每个刺激及其组合相关的原型通道区域激活模式。

为了克服这些局限性，本研究引入了一种针对fNIRS MVPA的XAI学习和推理机制，该机制（1）不依赖于大数据集，（2）不依赖于先验模型，（3）能够以感知刺激加工的脑区相互作用模式的形式解释其分类过程。可解释的MVPA（xMVPA）是一种用于脑血流动力学数据的XAI推断机制，使用演变学习程序来获得驱动MVPA模型。xMVPA学习的功能模式直接从输入的fNIRS测量值中获取。通过识别被激活的感知信息加工皮层网络，这些模式可以精确地指出不同大脑区域及其相互作用，这对现有的神经发展过程至关重要。

根据定义皮层激活和相互作用的xMVPA模式，对引起血流动力学反应的刺激进行推断。通过xMVPA的可解释模式对fNIRS数据进行更高的分类指标，可以验证该模型是否已具有较高的准确性来识别脑区在对呈现的刺激作出反应时的潜在激活和相互作用。xMVPA自动执行模式形成通道选择（即在给定的模式中包含哪些通道），并通过限制其复杂性（即xMVPA模式的总数和长度）来确保推理模型的普遍适用性。

本研究应用xMVPA推理机制对Emberson等人早期研究获得的婴儿fNIRS数据进行可解释的分类分析。在这项研究中，用fNIRS技术来记录6个月大的婴儿对听觉刺激（一种玩具声音）和视觉刺激（一个动态的红色笑脸）的血液动力学反应。xMVPA获得了6种典型的脑激活模式，为皮层网络参与视觉和听觉刺激的加工提供了新的证据。这些模式提供了可与MVPA最先进的机器学习算法相媲美的分类精度。此外，xMVPA为其推理提供了一个易理解的解释，以简明的术语（if-then规则）描述每个刺激的功能激活的原型模式。

2.方法——基于XAI的MVPA方法（简称xMVPA）

从xMVPA获得的模式由两部分组成：前部分A和后部分Y，如公式(2)所示。

将大脑区域（A）与特定刺激（Y）之间的相互作用映射到fNIRS通道之间的激活模式如公式(3)所定义。

q是模型编号，NVj为fNIRS通道j的脑活动值，CoLj是第j个通道的概念标签，通道总数为n，Yq是模式的刺激类别，DSq是与第q个位置相关联的模式的优势得分。

图1c概述了构造多元矩阵的步骤。xMVPA推理机制的不同过程之间的联系请参见图5d中的流程图。

图5 xMVPA结构的流程图

图6为说明xMVPA如何处理具有不确定性的CoL的示例图。

图6 在xMVPA中合并不确定性的CoLs隶属函数

3.结果

xMVPA将所有感兴趣的fNIRS通道的神经成像数据输入到一个多元矩阵中，用以识别信息激活模式。在刺激呈现后，计算10个通道中每个通道（见图1a）在时间窗（4-7s）内的氧合血红蛋白（HbO2）信号的平均值构建了多元矩阵 (见图1b)。通过网格搜索，得到4-7s的最优时间窗。对于使用fNIRS信号的其中一个维度或两个维度来构造多元矩阵。

然后将多元矩阵中的数字化神经成像数据转换为被定义的未激活、激活和激活很大的脑激活CoLs，以代表所考虑的时间窗中每个通道的平均活动水平。图1c给出了用CoLs生成多元模式矩阵的流程图。xMVPA利用公开的听觉和视觉刺激处理DCN数据集揭示了皮层区域之间交互的六种功能模式。以下是xMVPA提供的六种模式，概述了视觉和听觉信息处理时的大脑区域激活和相互作用。

模式P1：如果Ch1激活，Ch2激活，Ch4激活

那么刺激为视觉，优势度为0.581

模式P2：如果Ch4激活，Ch6未激活，Ch8激活很大

那么刺激为视觉，优势度为0.019

模式P3：如果Ch1未激活而Ch8激活

那么刺激是听觉，优势度为0.434

模式P4：如果Ch4未激活而Ch5激活

那么刺激是听觉，优势度为0.406

模式P5：如果Ch4未激活而Ch9激活很大

那么刺激是听觉，优势度为0.239

模式P6：如果Ch1未激活而Ch9激活

那么刺激是听觉，优势度为0.082

其中优势度在（0，1）范围内，且表示该模式的总体信息能力，等于1表示最大信息量，等于0表示最小信息量。模式P1和P2确定了参与视觉刺激加工的区域之间的相互作用，如图2a所示。首先，P1明显参与枕叶皮层，其中通道1和通道2均激活。其次，P1和P2都发现了位于颞叶皮层的通道4的激活状态（见图1a）。最后，P2发现了颞叶皮层通道6处于未激活状态，同时通道4处于激活状态，通道8处有很大的激活（位于额叶皮层）。

听觉刺激响应交互模式如图2b所示。这里激活的通道对应于前额叶皮层（P3中的通道8）和颞叶皮层（P4中的通道5和P5与P6中的通道9）。枕叶皮层不参与听觉刺激的加工，这表明通道1处于未激活状态，而前额叶皮层（P3中的通道8激活）和颞叶皮层（P6中的通道9激活）均激活。

xMVPA识别的模式显示了在枕叶和颞叶皮层上进行视觉刺激加工和在颞叶皮层上进行听觉刺激加工的激活情况。这些模式还识别了额叶皮层加工听觉和视觉刺激的活动状态。

图1 利用fNIRS信号构建多元模式矩阵

图2 通过xMVPA描绘出的皮质网络模型

与MVPA比较。从P1-P6的模式中，另一个重要的发现是，在颞叶皮层中，没有一个通道具有刺激特异性的激活。然而，MVPA方法既不能得出这种激活差异，也不能产生更高解码的通道组合，只能指定每个通道的独立解码强度。在颞叶皮层的听觉刺激反应没有解码强度可能是由于皮质活动更加分散，这与功能磁共振成像和fNIRS研究报告的听觉刺激广泛激活婴儿大脑一致。

与黑箱模型的解码性能比较。从图3a中概述的混淆矩阵中得到的一系列统计性能度量被用来量化xMVPA模式的性能。在图3a中，视觉刺激作为正类别，听觉刺激作为负类别。图3b的条形图显示了统计性能测量比较，即xMVPA和机器学习算法SVM、RF和MLP的（正确率，阳性预测值PPV，阴性预测值NPV，F值，假阳性率FPR，和假阴性率FNR）比较情况。xMVPA的FPR和FNR指标方面优于所有其他模型。这个比较证实了xMVPA模式能够清楚地分辨出fNIRS实例中6个月大婴儿的大脑对视觉和听觉刺激的差异。

图3xMVPA与黑箱模型的统计性能度量比较

4.讨论

本研究提供了一种新的、可解释的方法来分析和解释婴儿的fNIRS数据。研究者将xMVPA应用于分析一组6个月大的婴儿对视觉和听觉刺激加工时的大脑活动，并能识别出六种皮层网络模式。本研究结果表明，xMVPA在婴儿fNIRS数据集上获得的分类精度可与MVPA经常使用的最先进的机器学习算法（例如，SVM、RF、和MLP，如图3b）证明该模型的有效性，这对于DCN的发展至关重要。此外，本研究的xMVPA模式还描绘了通道1与其他通道（P1中的通道2和通道4）的相互连接，有效的揭示了视觉加工的皮层区域网络。

在婴儿期，枕叶皮层在处理视觉信息时的激活在前人的文献中得到了证实。因此，xMVPA提供的P1和P2模式与已有的文献一致，表明涉及枕叶、颞叶和前额叶区域的特定皮层网络参与了动态视觉信息的加工。值得注意的是，Emberson等人（2017）使用的动态视觉刺激显示了人类的面孔属性。本研究扩展了前人在婴儿对面部加工过程中的研究结果，发现枕叶皮层和颞叶皮层（P1）在对面部刺激做出反应时存在一种特定的区域间交互。在对成人研究的文献中也发现了用于视觉加工的枕叶和颞叶区域存在类似网络。特别是枕颞区被认为是成人面部知觉神经系统模型的核心区域。因此，研究者在P1模式中发现的枕叶皮层和颞叶皮层之间的相互作用，这为在6个月大的婴儿中发现存在一个等效的面孔加工核心系统提供了证据（图4a）。

图4 关于xMVPA的皮层网络示意图

此外，P2模式还识别了前额叶和颞叶皮层之间的相互作用。这表明，6个月大的婴儿需激活更广泛的神经系统来处理社会刺激，比如面孔。这也与成人面部感知模型相一致，该模型是一个专门用于处理基本面部情绪的颞叶和前额叶皮层网络。

基于以上对xMVPA模式的讨论，6个月大的婴儿的视觉刺激加工的皮层通路模型如图4a所示。发育中的大脑模型与Haxby等人（2000）提出的成人面部感知神经系统相似。这表明6个月大的婴儿的面部加工相关的皮层活动已经与成熟大脑相似。xMVPA共识别出4种模式，即P3至P6，用于听觉刺激的加工。具体来说，P4、P5和P6模式描绘了颞叶皮层的参与，而P3模式则观察到前额叶皮层的激活。这一证据表明，非语言的听觉刺激能在婴儿的颞叶和前额叶皮层中引起一致的反应。

综上所述，研究者所提出的xMVPA中获得的P1至P6模式不仅为婴儿感知信息加工的现有文献提供了确凿的证据，而且还揭示了发育中的大脑激活及其相互作用。这也给DCN领域的未来研究奠定了基础。