研究速递：神经异质性促进鲁棒学习
导读：在自然通讯的论文“神经异质性促进鲁棒学习”中，帝国理工学院的研究人员发现，脑细胞之间的异质性可能会加快学习速度，提高大脑和未来人工智能(AI)的表现。
论文地址：https://www.nature.com/articles/s41467-021-26022-3
论文标题：Neural heterogeneity promotes robust learning
关键词：脉冲神经网络 网络异质性
1）大脑中的神经元各不相同
大脑由数十亿个被称为神经元的细胞组成，这些细胞通过巨大的神经网络连接起来，使我们能够了解这个世界。**神经元就像雪花: 从远处看它们是一样的，但进一步观察就会发现，没有哪两个神经元是完全相同的。**但是这种异质性究竟是起着重要的功能作用，还是仅仅是嘈杂的发展过程和偶然的进化历史的副产品，目前尚不得而知。
相比之下，人工神经网络中的每个神经元，是相同的，只是它们的连通性不同。尽管人工智能技术的发展速度很快，但是模拟的神经网络，其学习的速度并不像人类大脑那样准确和迅速—- 研究人员想知道，罪魁祸首是否是虚拟神经元的同质性造成的。
该研究专注于调整“时间常数”——也就是说，**每个细胞根据与其相连的细胞正在做什么来决定它想做什么的速度。**有些细胞会很快做出决定，只看连接的细胞刚刚做了什么就做出改变。其他细胞的反应会比较慢，它们的决定，发生在其他细胞已经持续一段时间之后。
在改变了这些细胞的时间常数后，他们让和神经元活动更接近的尖峰神经网络（spike neutral network）执行一些基准的机器学习任务:例如 对衣服和手写数字的图像进行分类; 识别人类的手势; 识别语言中包含的数字和命令。
图1 a，尖峰神经网络的架构图，图b，四种不同的神经元异质性模式，分别是初始条件神经元是否相同（纵轴），训练过程只改变神经元的连接，还是可以改变放电的时间（横轴）
2）神经元之间的异质性改善了它们的学习能力，减少了学习所需的能量消耗。
通过改变神经网络细胞的特性（调整模拟大脑网络中单个细胞的放电特性），来模仿大脑的异质性是否可用来提升人工智能的学习效率。结果表明，**由存在差异的模拟神经元组成的网络，学习的速度比相同细胞组成的网络更快。**他们还发现，异质网络需要改变较少的神经元细胞就能得到相同的结果，使得这种方法比使用相同细胞的模型耗能少。异构网络没有额外的成本，而且运行良好，就像同质化网络拥有更多的神经元一样。
图2：在不同训练集上，初始神经元放电时间存在异质性，且训练过程中可以改变放电时间的红线，表现最佳，尤其是特别是内在时间结构更丰富的任务上
当研究人员改变了人工神经网络的变化幅度的时，他们发现那些表现最好的网络与大脑中观察到的变化幅度相匹配，这表明大脑可能已经进化出了适当的变化幅度，来获得最佳学习效率。这意味着在大脑中观察到的异质性可能不仅仅是嘈杂过程的副产品，而可能是在让动物在不断变化的环境中，保持学习能力上起着积极而重要的作用，是其适应新环境能力的一个重要组成部分。
这在直观上是合理的。在一个层中的神经元拥有不同的时间常数，允许网络在不同的时间尺度上集成传入的尖峰信号，对应于较短或较长的内存跟踪，从而允许读出层在几个尺度上捕获信息，并表示一组更丰富的函数。
**通过允许网络中的神经元存在异质性，能够更好地在更复杂的现实世界环境中解决任务。**这一发现可以告诉我们为什么我们的大脑为何如此善于学习，也可以帮助我们建立更好的人工智能系统，比如可以识别声音和面孔的数字助手，或者自动驾驶汽车技术。
进化赋予了我们难以置信的大脑功能——其中大部分我们才刚刚开始了解。该研究表明，我们可以从生物学中吸取重要的教训，使人工智能更好地为我们服务。例如通过模仿大脑的某些特性，人工智能可以更接近我们大脑的工作方式。目前的人工智能系统远远没有达到我们在生物系统中发现的能源效率水平。接下来，可以研究如何降低尖峰神经网络的能量消耗，使人工智能网络更接近于大脑那样高效地运行。
已知在大脑中，不同的细胞类型有不同的时间常数的固定分布，将该方法扩展到多种细胞类型的网络，包括更多的生物物理细胞模型，将是非常有趣的。
更多阅读
唐@本来实验室2021-11-13 09:42:11
”大脑由数十亿个被称为神经元的细胞组成”。数十亿？