直觉有害！Facbook最新研究：易于解释的神经元会误导DNN的学习

　　编译|蒋宝尚

　　关于AI是什么，学界和业界已经给出了非常多的定义，但是对于AI理解，探讨尚不足。换句话说，计算机科学家解释深度神经网络（DNNs）的能力大大落后于我们利用其取得有用结果的能力。

　　当前理解深度神经网络的常见做法是在单个神经元特性上“折腾”。例如，激活识别猫图像的神经元，而关闭其他神经元的“控制变量法”。这种方法的学术术语叫做“类选择性”。

　　由于直观和易理解，“类选择性”在学界广泛应用。诚然，在训练过程中，这类可解释的神经元确实会“选择性地”出现在各种不同任务网络中。例如，预测产品评论的神经网络，选择性地含有识别积极或消极情绪的神经元。

　　那么，问题来了！这些易于解释的神经元是深度神经网络发挥作用所必须的么？

　　答案是：否。

　　这就像研究汽车尾气和理解汽车速度推动力一样，毕竟汽车尾气和速度有关，但并不是汽车的动力。显然，在此例子中，“类选择”应该是发动机还是尾气？这是个疑问句。

　　因此，在最新一篇论文中“SELECTIVITY CONSIDERED HARMFUL:EVALUATING THE CAUSAL IMPACT OF CLASS SELECTIVITY IN DNNS”，Facebook AI的研究人员经过研究，用证据断言：即使神经元没有“类选择性”，深度神经网络也能发挥作用。事实上，易于解释的神经元会损害深度神经网络的功能，甚至使网络更容易受到随机失真输入的影响。

　　FB AI论文：类选择性的因果影响。地址：https://arxiv.org/pdf/2003.01262.pdf

　　具体而言，研究人员开发了一种新的技术，在能够直接控制DNN神经元的类别选择性的情况下，得出了上述结论。

　　这个结论有助于证明，如果这些方法没有经过严格的测试和验证的话，用过度依赖基于直觉的方法来理解深度神经网络会被误导。

　　因此，为了充分理解人工智能系统，必须努力寻找不仅是直观的，而且是以经验为基础的方法。

　　发现了什么？

　　类选择虽然作为一种工具已经广泛应用于深度神经网络的可解释性，但是易于解释的神经元对于深度神经网络的重要性的研究尚少。近期，虽然也有相关研究，但不同的研究报告得出了相互矛盾的结果，例如上述论文。

　　Facebook AI的研究员用一种操纵“类选择性”的新方法解决了这个问题：当训练网络对图像进行分类时，我们不仅指示网络提高其分类图像的能力，还增加了减少(或增加)其神经元中类选择性数量的约束。

　　如上图所示，研究员展示了在深度神经网络中操纵神经元的类选择性如何影响DNN正确分类图像的能力（特别是对于在小规模ImageNet上训练的ResNet18）。上图中的每个点代表一个DNN。圆点的颜色代表了阻止或者鼓励DNN神经元中类选择性的程度。X轴表示DNN中神经元的平均类别选择性，y轴表示DNN对图像分类的精确度。

　　灰色点意味着中性，代表此类型中DNN中自然出现的类选择性水平，将其用作比较分类精度的基线。

　　研究发现，通过不鼓励类选择性(蓝点)，可以将测试准确率提高2%以上。相反，鼓励类选择性(红点)会对DNN的图像分类能力产生迅速的负面影响。此外，研究员还放大了数据的一个子集，更好地说明了减少和增加类选择性的效果。

　　综上，研究员使用一个单一参数控制研究类选择性对网络的重要性。改变这个参数可以改变鼓励激活还是阻止激活容易解释的神经元，以及改变到什么程度。这提供了一个单一的旋钮（single knob），可以用它来操纵网络中所有神经元的类选择性。用这个旋钮做了实验，发现：

　　1、当阻止激活DNNs的类选择性时，对性能的影响很小，在某些情况下甚至提高了性能。这些结果表明，尽管DNN在任务和模型中无处不在，但类选择性并不是DNN功能的重要组成部分，有时甚至会对DNN功能产生负面影响。

　　2、当我们增加DNNs中的类选择性时，我们发现对网络性能有显著的负面影响。这表明，类选择性的存在并不能保证DNN将正常工作。

　　3、与研究环境相比，部署在现实世界中的DNN通常处理更多噪声和更多失真的数据。例如，DNN在训练过程中，可能会从维基百科上看到非常清晰的猫的图像，而在现实世界中，DNN需要处理一张黑暗的、模糊的猫逃跑的图像。此外，类选择性的降低使得DNN对诸如模糊和噪声之类的自然扭曲具有更强的鲁棒性。有趣的是，降低类选择性也使DNN更容易受到有针对性的攻击，在这些攻击中，图像被有目的地篡改从而欺骗DNN。

　　这些结论之所以出人意料，有两个原因：一是类选择性已被广泛用于理解DNN的功能，二是类选择性在大多数DNN中是自然存在的。

　　研究人员的发现还表明，在没有类选择性操作的情况下，DNN自然会学习尽可能多的类选择性，而不会对性能产生负面影响。

　　这引出了一个更深层次的问题，研究人员希望在未来的工作中回答这个问题：如果对于良好的性能不是必需的，为什么网络要学习类选择性？