Nat Mac Int | 弱监督机器学习用于显微图像的检测、计数和分割
原创 苏安 图灵基因 2022-05-19 13:47 发表于江苏
收录于合集#前沿生物大数据分析
撰文：苏安
IF：16.649
推荐度：⭐⭐⭐⭐⭐
亮点：
1. 作者通过机器神经网络学习以及显微镜技术建立了一个能够检测识别图像并分析的微镜深度学习平台。
2.作者建立的微镜深度学习平台可以减轻图像识别中注释的工作量，并且此平台可用于显微镜图像的高通向定量分析。
强大的显微镜技术的发展，使我们能够以亚细胞分辨率和大的视场来表征生物结构，所得到的图像显示了广泛的结构，需要被识别、计数、精确定位和分割，这极大地增加了定量图像分析任务的复杂性。近期，在Nature machine intelligence杂志上发表了一篇名为“ Microscopy analysis neural network to solve detection, enumeration and segmentation from image-level annotations”的文章，本文作者向我们介绍了一个在深度学习中的弱监督微镜分析神经网络(micra-Net)，它可以在一个简单的主要分类任务上训练来解决多个更复杂的任务，如语义分割。当Micra-当没有精确注释的数据集可用时，Net依赖于嵌入在训练模型中的潜在信息，以实现类似于已建立的架构的性能。这些学习信息从使用梯度类激活图的网络中提取出来，并将其结合起来生成感兴趣的生物结构的详细特征图。作者演示了micra-Net如何大大减轻了各种显微镜数据集上的专家注释过程，并可用于显微镜图像的高通量定量分析。
首先，作者向我们演示了micra-Net对注释负担的影响。根据感兴趣的结构识别特定类的正和负图像，让Micra-Net接受简单的多类分类任务训练，与使用精确的边界框轮廓来识别结构边界相比，图像级注释不需要指定对象在图像中的位置。通过进行用户研究，作者量化了生成具有不同精度级别（精确轮廓、边界框和点）的注释所需的时间，并且使用一个度量分析了参与者间的可变性，该度量结合了对象之间的关联水平(F1分数)和注释对象的质量(联合上的交集(IOU)。作者测量了点注释位置的误差，范围从4到10像素(中位数=7像素)，而精确注释的细胞边界上的豪斯多夫距离在5到24像素之间（中位数=16像素），这取决于细胞系。与训练完全监督的DL方法所需的精确注释相比，全图像二进制注释的生成减少了1.2-19倍的变化。图1.可以使用不同的监督级别来训练DL模型，以分割显微镜图像中感兴趣的结构
图2a显示了micra-Net的架构，它是围绕一个由8个卷积层(L1到L8)组成的CNN架构设计的，然后是一个完全连接的图层。通过通过网络反向传播每个激活类，提取每个预测类，然后，在最后一个卷积层(L8)的梯度cam上应用校正线性单元(ReLU)激活和阈值化，生成一个粗糙的与类特定的特征图。为了增加提取的特征图中包含的信息，作者将来自L1-7层的局部图连接起来，得到了一个特定于类的七维特征空间。为了验证micra-Net的分类和分割性能，作者创建了一个合成数据集，包含MNIST数据集30个随机采样的杂乱手写数字。第一步是对出现在每幅图像上的数字进行分类，以验证网络的表示能力，得到的类平均分类测试准确率为98.9（5）%。随后，作者将L1-7层的gram连接起来，生成详细的分割图，他们将micra-Net的语义分割性能与完全和弱监督训练方案的U-Net31进行了比较。结果显示，与U-Net的所有弱监督训练实例相比，micra-Net获得了类似或更优越的分割性能。图2.Micra-Net在改进的MNIST数据集上的体系结构和实验结果
为了研究micra-Net方法在超分辨率显微镜图像分割中的适用性，作者语义分割了一个公开的刺激辐射耗尽(STED)显微镜中两种f-肌动蛋白纳米结构的显微镜图像：（1）为周期性晶格结构和（2）纵向纤维。结果显示，与多边形边界框注释相比，图像级注释的注释过程减少了三倍以上。在分类任务中，micra-Net在f-肌动蛋白周期性晶格和纵向纤维的测试数据集上的准确率分别达到了75.2%和83.7%。对于f-肌动蛋白周期性晶格，作者测量了与晶格周期性(180-190nm)对应的分段区域的快速傅里叶变换(FFT)，结果显示，用micra-Net分割的区域计算的FFT度量与从精确注释的数据集获得的区域没有显著差异；之后作者发现与精确注释的数据集相比，只有用micra-Net获得的分割掩模与从精确标注的数据集获得的像素强度分布没有显著差异。这支持了micra-Net精确识别STED图像中单个纤维的轮廓和周期性晶格区域的边界的能力。图3.在超分辨率显微镜图像上观察到的f-肌动蛋白纳米结构的语义分割
为了表征micra-Net对语义实例分割的性能，我们决定使用来自CTC数据集中的6个细胞系的图像。作者将从研究的参与者中获得的注释的可变性与用于训练完全监督方法的精确标签的改变版本的修改版本进行了可变性。图4b显示了用户研究的相关对象(Object-IOU)和精确标签的修改版本（8次重复）之间的IOU的分布。从图4b ALT-5的分布情况。因此，使用从多个参与者（例如，众包参与者）获得的训练集来训练DL架构应该会产生与使用ALT-5训练时相似的基线性能。作者通过提取F1分数检测下的归一化区域作为相关对象曲线(AUC；方法)的IOU的函数来量化结果。图4d（左）报告了在汇集所有细胞系的数据时，与经过不同级别监督训练的基线相比的micra-Net的变化。如图所示，当降低监督水平时，为完全监督的数据集开发的基线的性能会受到影响.Micra-Net实现了与使用弱标签(ALT-2和ALT-5数据集)训练的基线相似的性能。在ALT-10数据集上，micra-Net的性能优于所有考虑的基线，显著提高了性能。与从用户研究中获得的精确轮廓注释和边界框相比，作者还测量了使用micra-Net时类似或显著增加的测试AUC。虽然CTC是一个精确的注释和策划数据集，可以很容易地用于完全监督方法，但使用图像级二进制标签培训将减少超过157h必要的注释时间。图4.对CTC数据集的5个选定细胞系的语义实例分割
为了评估micra-Net的稳定性，作者进行了多个设备的分析。选择了giemsa染色的间日疟原虫（疟疾）感染的人类血液涂片的亮场显微镜数据集，其训练和测试数据集具有非常明显的强度分布。作者将micra-Net的分割结果与专家精确的注释进行了比较，与检测精度的结果相比，与仅更新线性层相比，通过微调(线性+3、4{12、24、26}和All{12、24})显著降低了IOU。
最后为了评估如何将micra-Net作为一种工具，指导专家在电子显微镜(EM)数据集的大图像中注释稀疏和小结构。作者在超薄小鼠大脑切片的扫描电子显微镜(SEM)图像数据集上进行了测试，结果表明，micra-Net应用于这个EM注释任务，成功地减少了生成训练数据集的负担，同时也显著增加了被手工专家注释所遗漏的区域的发现。
教授介绍：
Flavie Lavoie-Cardinal
Flavie Lavoie-Cardinal是加拿大CERVO中心的独立研究员，也是拉瓦尔大学物理，遗传学，物理学和光学系的副教授，智能纳米学研究主席。
主要研究领域：智能纳米镜，机器学习，深度学习，神经光子学，细胞和分子神经科学，光学成像领域。致力于超分辨率显微镜的开发及将超分辨率应用于细胞和分子神经科学。Cardinal博士目前建立了一个研究项目，使用和开发用于显微镜的机器学习和深度学习。她的项目重点是提高显微镜技术的性能，并开发对所获得图像进行定量分析的技术。
参考文献：
Bilodeau, A., Delmas, C.V.L., Parent, M. et al. Microscopyanalysis neural network to solve detection, enumeration and segmentation fromimage-level annotations. Nat Mach Intell (2022).
