文章名：ACTIVIS: Visual Exploration of Industry-Scale Deep Neural Network Models
期刊：《IEEE Transactions on Visualization and Computer Graphics》
我们将包含一个或多个隐藏层的神经网络称为深度神经网络。虽然深度神经网络模型在各项预测任务中已取得良好表现，但是就理解深度神经网络是如何工作，仍存在诸多挑战。文章提出的ACTIVIS系统，基于分类神经网络，通过对比展示神经元在不同实例下的激活情况，帮助用户理解当前神经网络训练情况以及存在哪些不足，从而帮助用户做出下一步的模型更改策略以及数据训练计划。
ACTIVIS主视图
如上图所示，ACTIVIS系统主要由三个部分组成。视图A为概览视图，展示整个深度神经网络结构。 整个系统的数据流向，从左到右。矩形名为操作节点，代表一系列操作函数。圆形节点代表一个张量。视图B有三个部分组成，中间的视图为神经元激活矩阵视图，视图的每一列代表一个神经元，每一行代表一个实例下神经元激活情况，神经元的颜色越深代表激活值越大。右边的视图为投影视图，展示当前被选中节点的分类结果。左边视图展示选中节点局部结构。视图C为实例选择视图，展示实例的分类情况。每一行代表一类实例，一行的左边为正确分类的实例，一行的右边为错误分类的实例。小矩形的外框颜色表示该实例所属的类别，小矩形颜色表示错误分类类别。用户可通过点击小矩形，选中该实例到神经元激活矩阵视图。用户选停在小矩形上，将显示出该实例的具体内容，以及各个分类的可能性。
下面介绍系统的工作流程：
（1）用户训练好深度神经网络模型后，从浏览器打开ACTIIS系统。
探索概览视图
（2）用户首先概览视图中观察和探索整个深度神经网络的结构。
最后一个隐藏层
（3）用户首先从最后一个隐藏层开始探索，因为最后一个隐藏层往往代表整个模型的好坏。用户观察到在激活矩阵视图的LOC行，在视觉上十分特别。这可能表明出现了满意的分类。但是在投影视图上，不同类别并没有被很好的分开。
选择实例
（4）为了弄清楚错误分类出现的原因，Susan在”Instance Selection”视图中，观察被错误分类的实例。用户向激活矩阵视图添加了两个正确分类的实例和两个错误分类的实例。可以看到正确分类的实例与错误分类的实例的激活矩阵差别很大。
观察实例
（5）用户观察到被错误分类的实例大部分都是蓝色外框矩形。所以去了解实例对应的具体文本。用户发现被错误分类的问题大部分是以“what is”开头。所以接下来用户将着重训练这一类问题。
系统可扩展性
（1）囊括不同的模型与数据集：模块化数据导入代码；给开发人员提供API调用。
（2）扩展到大规模数据集：对于一些“有趣的节点”进行预计算；让用户指导抽样以及实例选择的过程；计算大规模数据集的神经元激活矩阵。
