奥本大学 美国80左右的大学

（1）回顾现有的AM（激活最大算法）（2）讨论现有AM算法概率意义的解释，（3）回顾AM在调试和解释网络的应用

（1）认为ZF的文章的问题：需要在很大的图像集上测试每个神经元，第二个问题激活神经元的不一定是有信息量的图片，因为这篇文章提到Deep neural networks are easily fooled: High confidence predictions for unrecognizable images，错误的图片也可能被给以高置信度，第三，到底是图片里的哪个视觉特征导致了神经元的激活是模糊的。比如被一张站在树上的鸟图片激活，不确定是鸟还是树 ，第四，神经元可能喜欢的是一个图片的集合，如何从这个图片的集合中提取一个整体的描述是很困难的（这组图片中怎么提取一个公用特征？）一个普遍的做法，是研究刺激unit的top-9图片，但是只取九个应该是不够的，因为它可能只反映了神经元感兴趣的许多类特征中的一类（需要一个分布，最喜欢，第二喜欢，然后。。。而不仅仅是top9，图片可以加个权重吗，然后选出感兴趣的特征）Multifaceted feature visualization: Uncoveringthe different types of features learned by each neuron in deep neural networks  这篇文章揭示了一个神经元喜好的多个特征。另外一种做法，是直接合成视觉特征，而不是挑选真实的图片，包括Visualizing higher-layer features of a deep network，Synthesizing the preferred inputs for neurons in neural networks via deep generator networks ；Feature visualization. distill(这是一篇网络文章，蒸馏)；这种合成方法的优势：在一个给定的图像先验（可不可以图像先验都不要，让它无拘无束）下不需要和训练集一致，这是实际中更有可能情形；第二 可以给图片类型和内容更多的 人为控制

可以推广到研究一组神经元的最大激活值，比如Inceptionism: Going deeper into neural  networks（又一篇谷歌脑的推文）Plug & play generative networks: Conditional iterative generation of images in latent space，The building blocks of interpretability. Distill（谷歌脑），

训练输出而不是权重

我们在激活值达到一个阈值时停止训练。从一个随机噪声图片（random）从头开始生成AM的图片往往导致不可解释的图片，就是Deep neural networks are easily fooled: High confidence predictions for unrecognizable images，这篇文章中提到的，fooling examples，比如说高频噪声激活给定神经元。因此一个方式是 从一个真实的图片开始优化AM，这样导致我们往往容易遇到对抗性样本，（对抗样本满足两个要求，一个是误分类，一个是很接近初始图片，只是误分类的不能称之为对抗样本）

没有图像先验会产生很垃圾的图片

振铃现象

因此希望把搜索限制在可解释的范围内，看上去像是真图片或者接近训练集里的那些图片，Vsualizing deep convolutional neural networks using natural pre-images。

加了正则项

加正则的优化是这样的，但是其实也可以通过别的方式来正则

定义了一个轻微高斯核r来正则

这是在Understanding Neural Networks Through Deep Visualization中提到，比较了可视化结果，觉得Synthesizing the preferred inputs for neurons in neural networks via deep generator networks这篇文章中gan是最好的。

局部的正则化方法总结

这些正则化只能有效的保持自然图像的局部统计量

全局结构

想让生成的图片更加多样化，这样可以探究神经元是否对多类物体感兴趣

之前的AM是通过修改图片的像素，反向传播来实现的，这里逐像素的改变往往是缓慢地，无关联的，常常生成噪声图片。Synthesizing the

preferred inputs for neurons in neural networks via deep generator networks

这篇文章中的DCN-GAN，（应该是DCN-GN）

让生成的图片多样化，来探究神经元是不是对多个 物体感兴趣

AM不仅仅可以去优化深层次的空间，也可以去优化浅层次的空间，提到gan训练用的感知损失，来自Generating images with perceptual similarity metrics based on deep networks

GAN 做AM是不一样的，生成图片去做判断，然后再生成

好好想想这是用GAN来做AM，不是用GAN来重建某个特征的，好奇这个GAN的判别器判别的是什么？？（生成图片的任务中判别器判别的是什么？，没有真实图片作参考啊）

问题变成了找编码h

优化h

这个GAN的方法是在隐层空间进行的优化，x不是第一层了，h是第一层，所以与之前的在像素空间进行优化的方法比起来效果好很多。，但是GAN的问题是容易丧失多样性，只能生成最大激活神经元的九类图像，而类别数较少。

（不是GAN，错了，只是一个生成网络，没说对抗，一个指导网络）

为了增强图片的多样性，在Plug & play generative networks: Conditional iterative generation of images in latent space这篇文章中，利用一个去噪自编码器DAE学习h的真实先验。