论文速递：自然计算科学：可解释的神经网络ENN

2022-01-03 约 2365 字预计阅读 5 分钟

深层神经网络的成功表明，认知可能产生于难以破译的分布式神经活动模式。然而，人工网络只是进行模式匹配的黑箱，不能模拟抽象认知功能（如逻辑运算），也缺乏许多神经生物学特征。因此，他们目前不足以成为理解神经信息处理的计算模型。自然计算科学的论文“模拟逻辑推演的可解释神经网络”，展示了人工神经网络如何通过简单的神经生物学原理直接编码认知和推理过程。

该模型以一个不基于梯度下降的机器学习算法，来训练深层神经网络称为本质神经网络(ENNs)，并在图像分类和逻辑推断的两类标准数据集上进行测试，结果如上，对于图像分类任务，在较大的数据集上，ENN能和使用梯度下降的传统方法的神经网络达到相同的准确性，对逻辑推理的任务，其准确性更高。
ENNs可以模拟更高级的认知功能，如符号推理和异分布下的概括能力。**ENN的运行，展现与大脑运行相关的网络属性，如模块性、分布式和局部性激活，以及面对对抗式攻击的鲁棒性。**ENNs可作为一个广泛的计算框架，来解释认知的神经基础，并试图实现通用人工智能。
https://www.nature.com/articles/s43588-021-00132-w通过让能够区分高维特征的神经元能够使用与门，及或门连接，这样的神经网络称为Voronoi neural networks，ENN在网络结构上，与之类似，但不同的是，ENN的神经元间连接，不仅仅是记住了训练数据的特征，而是显形的将特征聚合起来，这使得ENN能够更好的应用到更复杂的问题中。

ENN的网络结构，其中的红色，是区分单个概念的神经元，黄色是将概念组合起来的神经元层，如下图所示的一个区分水果和蔬菜的神经网络，其经过卷积处理的特征作为输入，之后经由训练好的判别神经元，同时判断其具有的特征，之后次级概念神经元会将这些概念组合。图D是在不同层看到的特征空间。

通常情况下，一个概念可能不能完全与单个神经元区分，所以它必须使用多个上游区分神经元的输出来识别它。此外，概念神经元还可以接收到相关概念神经元的输入，从而整合概念的层次结构。这对于需要划分为子概念的复杂的非凸概念(例如，具有多个定义的单词)尤其重要。这个模型与认知心理学和哲学的理论是一致的。差异和概念神经元是由它们相对于输入的决策边界来定义的，而推理是一个迭代的过程，通过判断(即区分)来得出结论。
对比使用ENN和GDN的基于MINST数据集的神经网络，可以看到ENN训练后，神经元分成了激发和阻止两类（右图），这和大脑活动是类似的。同时相比梯度下降的网络，ENN在亚概念层上，呈现出局部激活的特征，这也类似于大脑中的神经活动，同时也是解释为何大脑的能耗更低的一个原因。

大脑的另一特征，是具有模块化。使用梯度下降训练的网络，当从训练好的网络中，随机删除一定比例的神经元，其对各个数字的判别能力将会无规则的下降。而ENN中，可以逐个删除和某个数字有关的神经元，比例高于某个阀值后，只会影响该数字的判别能力，见上图。由此说明ENN中，学到信息的存储，是位于一个个模块的。
ENN的另一个优点，在于其能够具有可解释性，并且是针对每个测试样例的具体性解释，不止对于正确的分类，也能解释为何判断错误。上图中的三个判断有误的例子，图中指出了误判发生的神经元的激活函数及误判示例的所在位置，以及那些本应被关注的特征被忽视，以及那些造成误判的特征。
由于ENN是层级化的，因此还可以指出在亚概念一层，为何判断失误，上图中的3和4，在亚概念这一层，和某些概念的相似度是很高的，但由于和错误概念的平均相似度更高，而被误判。通过ENN，可以对错判出现的具体原因给予解释，从而指导人机互动，类似的功能，对医学影像等需要人机协作的领域很有帮助。
总结来看，该研究使用简单的 ENN 结构和学习算法，证明基于神经认知的模型，可模拟各种认知能力。ENN模型的简单，意味着有很大的改进潜力。与基于梯度的深度学习一样，可使用将神经网络应用于更复杂的任务所必需方法学改进，如代码优化、增大网络规模、改进卷积过滤器和数据生成。虽然梯度下降在端对端模型中依然是高效的，然而，ENN 的解释能力和推理能力开拓性地扩展了神经网络的适用领域，例如需要显示逻辑推理，或需要人类可理解算法的场景，以及从小的训练集中，训练需要能够跨分布运行的算法。Enn还可以用于结合先验的人类知识，合理地设计网络结构和超参数，以及根据定义学习。总的来说，这项工作展示了神经网络中，实现符号式认知的基本原则，以及如何在人工智能系统中模拟符号认知，以克服目前的局限性，扩展其能力的方法。
**ENN中的神经元连接，自发地表现出与大脑相似的涌现特性，如稀疏连接及模块化连接、局部激活和短期神经可塑性。**类似人脑学习中Hebbian 学习增加了相似的神经元之间的连接，对动态环境的高效突触响应，也需要 ENN呈现层次结构和模块性。而层级连通性允许更高抽象度的区分能力，以帮助完善、忽略或强调更低层次的判别。最后可解释的神经元活动，是具有内省功能的元认知所必需的，而这也是ENN所具备的。
ENN的层级结构，让笔者想起来能否应用于因果发现及因果推断，其相似点，在于其都是基于符号的抽象推理过程，如果ENN的网络架构，能够学会基于与非门的逻辑电路，是否经过改进，也可以学会结构因果模型（SCM）中的推理过程了？这是一个值得关注的问题。
更多阅读研究速递：神经异质性促进鲁棒学习
 抄近路-神经网络如何因找捷径而犯错
 Nature子刊机器智能综述-通过神经进化（ neuroevolution）设计神经网络