从Bengio的NPS模型看AGI的实现通路

这两天深度学习祖师Yoshua Bengio 的 Neural Production System 刷新了AI圈子。与以往的深度学习套路不同的是， 这篇文章有效的把符号主义AI对人类认知的模拟与深度学习结合， 得到了一个能够学习规则的神经机器。我们先来看下这个框架的总体思路。什么是规则？其实在计算机诞生之初， 规则就是一系列的if else表达式，当某种条件激活， 产生某个行为最终达到某个效果， 比如如果天气太冷多穿衣服就暖和了。人类的知识大多可以表达成这种形式（实体经由某个动作得到某个结果）。与之相应的是一阶逻辑和因果，这个过程是学习到一些抽象规则，然后在具体的案例中将实体和规则匹配得到。比如亚里士多德是人， 人是动物会死亡， 所以亚里士多德会死这样的关系，或者果汁是一种饮用液体（可以解渴），因此喝果汁可以解渴这种。也就是对实体和类属性进行绑定， 然后通过类属性关联的逻辑法则，将两者有效绑定。最后实现一个推理的过程（演绎法，状态-规则-动作-状态 迭代循环）。这是人类认知推理过程最基本的步骤。过去的专家系统模型，以文中讲到的production system为代表，就是对这样的认知流程的机械模拟，把它们写成程序套进去，但是很快发现这件事是走不通的， 因为存在太多的例外， 通过对人类已知的规则进行穷举如同数清天上的星辰。而且并非所有的问题尽可以由显示的规则描述。
深度学习兴起之后，人类的直觉感知能力能够被机器模拟，从而使得没有被计算机世界囊括的大量数据插上了数字化的翅膀， 如图像，音频。其实本质上深度学习实现了信息的翻译流程（例如分类器的结果就是将图像这类感知信息语义化）。但是同时， 深度学习一直缺失符号化的一些核心能力，比如所谓的利用逻辑规则进行推理的能力。一种最基本的方法是把感知符号化（分类器）的结果加上人工规则， 比如人脸识别后的结果送到人物数据库搜索罪犯的系统-决定某人是否可以坐火车。而通过神经网络来实现规则学习的最接近的应该是GNN图神经网络， 它可以学习实体节点和实体节点的相互作用法则并推理， 比如推测化学分子的性质。但是图神经网络有个巨大的问题是它依然依赖已经符号化的实体，然后在这些实体间构建关系。而bengio的新工作则利用了一种80年代出现的专家系统的思想，为它们插上神经网络的翅膀， 从而使得逻辑规则是可以学习的。事实上神经符号主义的最大问题是，符号化的痕迹太重，而失去了神经系统的灵活性， 太轻，很难学到规则。而bengio怎么掌握这个火候呢？神经网络最擅长的是做模式识别， 它巧妙的利用了变量绑定（variable binding）的思想， 把逻辑规则和实体相分离， 然后用类似注意力的机制学习哪些逻辑规则应该匹配哪些实体。这样， 我们既不要强迫在感知数据里提取符号实体的类型， 也不需要强迫规则的模式，一切都是神经网络浑然天成学到。我们来看怎样一个浑然天成，首先如果用神经网络这样的矩阵乘加来表达。这里需要关注的是如何得到规则的神经表示， 假定规则是某种图的形式， 那么它必然是一个稀疏的有向图， 因为规则关系往往有几个核心的点：1， 规则往往是稀疏的， 规则中出现的实体数量往往很少， 当规则的激活条件达到， 某种行为被启动。2， 规则是抽象的， 从而保证范化能力。如果一个规则适应的是非常特定的实体比如某个人。3， 规则往往是非对称的， 体现因果性。这样的规则是专家系统的底座，这个把上述模式转化为神经算子的过程就是NPS框架的基本功劳了。那么我们看下这个NPS是怎么说的？1， 基于用entity extraction module 提取感知信息中的实体信息 ， 这一步类似用自注意力机制选择需要被关注的实体。2， 由于NPS旨在模拟实体和实体相互作用稀疏规则， 因此需要用注意力机制选择primary slot和rule， 也就是规则中的主体和所对应的法则。这一步涉及rule selector， 也就是到底哪条规则被触发是由神经网络表示。类似于天下雨要带雨伞， 天晴要带遮阳伞这种if else 表示。3， 有了规则主体和规则， 进一步选择context slot，这对应规则里面出现的另一个对象（从而构成相互作用的一对实体，比如加数和被加数），最终得到完整rule的表达式（由一个多层神经网络MLP表示）。这个选择过程不是一步完成而是分成primary和context slot 本质上做到了对非对称规则的拟合。4， 迭代， 多步使用类似的rule的执行机制实现推理目标。有了这些任务模型， 我们可以在其上进行非常灵活的控制，根据不同的任务选择不同的结构实体来进行推理和控制，并且在其间进行切换。因此NPS的框架提供了未来AGI一种非常基本的组成元件，当然离真正的智能它还缺少很多其它的核心部分， 比如人类的智能以目标展开， 我们不停的把真实世界切割成不同的任务，每个任务都有一个目标，而目标之下我们会把它分解成很多子目标，这种能力并非当下的NPS系统涵盖的。另一方面， NPS系统的感知部分也较为简单原始，从中提取实体的过程没有体现高级认知的参与， 事实上我们关注的是图片中的一个动物还是一棵树，也是高度依赖于整个目标和认知过程的。因此， 未来的AGI构建之路依然任重道远。另一个关键问题是，即使是NPS这样的结构，也依然是在各种小型研究问题得到体现，它是否能够用来撸真实世界的规则和因果，还是一个亟待研究的问题。愿意探讨一套AGI系统的最小实现框架的同学请加铁哥微信（TieXu0609），还有珍贵的头部AI公司实习机会。更多阅读
通用人工智能AGI入坑指南——OpenNARS那些事儿
走向通用智能的核心：任务树的建立

Boyan Zhang2021-04-13 09:17:01

现在谈agi会不会是玄学？赞 1