将因果思维融入机器学习，实现信息处理的自动化
1 导言
图灵奖得主、贝叶斯网络之父Judea Pearl 曾自嘲自己是”AI 社区的反叛者“，因为他对人工智能发展方向的观点与主流趋势相反。Pearl 认为，尽管现有的机器学习模型已经取得了巨大的进步，但遗憾的是，所有的模型不过是对数据的精确曲线拟合。从这点而来看，现有的模型只是在上一代的基础上提升了性能，在基本的思想方面没有任何进步。近日，马克斯·普朗克智能系统中心主任Bernhard Schölkopf 发表论文，谈论了因果关系和机器学习之间的联系，并科普了一些相关的重要概念。
论文地址：https://arxiv.org/pdf/1911.10500.pdf
上图是该文目录结构
Judea Pearl 转发相关推文，表示”这是一篇非常全面、令人愉悦且极具启发性的论文，适合所有人，而不仅仅是机器学习以及人工智能从业者阅读。” 那么这篇文章的最大启发在哪里呢？下面是龚鹤扬和郭瑞东对该论文关于信息革命的内容，也就是论文中的第二个章节，进行翻译和解读。该章节最具备启发性，而其他章节是有关因果理论框架以及因果思维如何融入机器学习的具体介绍。论文突出了信息的根基性地位，指出信息就是工业革命的能源，启示了**因果理论和机器学习的研究应该要融入信息的视角。
2 信息处理的的机械化
第一次工业革命始于18世纪末，由蒸汽机和水力引发；第二次工业革命始于大约一个世纪后，由电气化推动。如果用我们更广的角度来想，那么两者都是关于如何产生和转换各种形式的能量的问题（在这里“产生” 是通俗意义的理解）。然而在物理学上，能量是种守恒的量，因此不能产生，只能从其他形式的能量转化获取。有人认为我们现在正处于另一场革命中，称为数字革命，大数据革命，以及最近被称之为AI革命或者信息革命。然而，这种转变实际上是在20世纪中叶以控制论的名义开始的。它用信息代替了能量。就像能源一样，信息也可以由人来处理，但是要在工业规模上进行处理，我们需要发明计算机，并且要智能地进行处理，现在我们使用AI，并没有改变这一本质。
当机器学习应用于金融行业时，我们经常将用户数据转换为有关未来用户行为的预测，从而获得金钱。金钱本质上可能是信息的一种形式，这一观点与通过解密码问题而产生的比特币的思想是一致的，比特币是信息也是金钱。一次工业革命使能源成为通用货币(Smil, 2017); 可能正在发生同样的事情，即信息正成为通用货币。就像能源革命一样。
3 信息革命的俩个组成部分**
人们可以说，当前的信息革命有两个组成部分：第一个组成部分是基于电子计算机的出现，高级编程语的发展以及由此产生的计算机科学领域的诞生，通过操纵符号创造AI的愿景。第二个我们目前正在经历的组成部分，它依赖于学习。通过学习，可以从非结构化数据中提取信息，并且可以自动从数据中推断规则，而不是依靠人类来构思和编程这些规则。
尽管Judea Pearl 的方法起源于传统AI，但他还是很早认识到对人类认知规则进行编程存在的局限性的人之一，因此引领了将传统AI与概率论结合(Pearl, 1988)。这催生了图模型， 该模型被机器学习社区采用，但是在很大程度上没有注重它们的因果语义。近年来，机器学习与因果关系之间已经建立了真正的联系，我们认为如果想在AI的主要开放性困难问题上取得进展，这些联系至关重要。
在工业革命时代，自动生成和转化能量手段的发明改变了世界。它使劳动在某些领域变得多余，在其他领域产生了新的工作和市场。第一次工业革命创造了围绕煤炭的工业，第二次工业革命围绕了电力。 而当前信息革命的第一部分以电力为基础，创建了计算和IT行业，第二部分是将IT公司转变为“ AI First”，并围绕数据收集和“点击”创建一个行业。带标签的数据为当前AI的主要数据（即监督学习），人们可以预见，将来针对直接或干预性数据和信息会出现新的市场和行业，而不仅仅是统计相关性数据和信息。
4 信息的物理本质
但我们目前对信息的理解还很不完善， 就像前两次工业革命中的能源概念 样。数学家艾米·诺瑟（Emmy Noether）对能量概念有深刻的现代理解，他理解能量守恒是由于物理学基本定律的对称性（or covariance）所致：无论我们如何改变时间，现在，过去和未来它们都是一样的。这是现代物理研究的基本思想：每种对称性都隐含着一个守恒量。
爱因斯坦在建立能量与质量之间的等价关系时，也依赖于对称性原理。在基本物理学中，人们普遍认为信息也应该是守恒的，尽管这带来了某些难题，尤其是在宇宙学方面。可以推测，信息的保存也可能是对称性的结果-这将是令人着迷的，它可以帮助我们理解信息的不同形式之间如何相互联系，并定义统一的信息概念。
下面我们将介绍一种不变性或独立性，它或许可以发挥对称性的作用。从对称变换开始，并通过对象在这些变换下的行为来定义对象。这些有趣想法不仅在物理领域而且在数学领域都富有成果。
我们前面虽然把信息比作能量，但是 digital goods 与 physical goods 有不同之处。一方面，一般情况下纯粹的digital goods 可以以零成本进行复制(Brynjolfsson et al., 2019), 量子理论领域的时候是一个例外(Wootters and Zurek, 1982). 另外一方面，一般复制 physical good 的成本几乎没有减少 (例如重复制作一块黄金的成本)。在一些情况下, 当physical good 有一个非平凡的信息结构是, 复制是成本比原来可以少点 (例如重复制作一块芯片的成本)。在当前信息革命的第一阶段，可以对软件进行复制，并且业界为防止这种情况付出了巨大的努力。在第二阶段，复制会不仅仅需要数据集，也要合适的机器学习算法和计算资源，其他人才可以从数据集中提取相同的信息。与之相对的是，能量只能使用一次。
5 信息革命将走向何方
就像第一次工业革命对技术，经济和社会产生重大影响一样，当前的变化也可能适用。可以说，我们的信息处理能力是人类在地球的统治地位的基础，也是人类对地球的重大影响的表现。由于与信息处理有关，因此当前的革命可能比前两个工业革命更为重要。我们应该努力充分利用这些技术，以确保它们将为解决人类和地球的问题做出贡献。相关的问题包括环境保护，隐私和个人自由。 在信息革命的初期，控制论专家Stafford Beer 与智利的阿连德政府合作，建立了控制论的治理机制(Medina, 2011)。在这场革命的当前数据驱动阶段，中国开始使用机器学习来观察和激励公民以公认的方式行事(Chen and Cheung, 2018; Dai, 2018)。信息革命带我们走向何方？我们很难知道，在这个问题上，科幻小说给出的答案，例如《美丽新世界》，将会给我们启示。用原文的话是：this is science fiction at best, and the best science fiction may provide insightful thoughts on the topic.
关于该论文，如果您是研究 Causality for Machine Learning 的新手而又想和大家交流，请加入该论文的详细研究项目：
https://github.com/Causal-Inference-ZeroToAll/causality4ml
更多和因果推断相关的介绍
强人工智能之路中的必选项“因果”-《为什么》第十章书摘 Part1
《为什么》书评：我们缺少「现实模型」，而这主要取决于「因」（文末增书）
魏猛2019-12-10 10:47:47
因果禁令的时代，人们盲目追捧以数据为中心的问题解决方式。统计学唯一关注如何总结数据，而不关注如何解释数据。
吸引子2019-12-15 10:19:47
没有更全系统思考，因果关系的结论也会是错误的，人身体的各个器官本身就是感受器，而感受器的有限性也限制了自身的拓展，量子力学这种反直觉的科学出现，就是对我们所坚持的事物的颠覆，因此需要对整个物理世界认知重新思考，大数据和机器学习结合发展到推导出因果关系，是否真的就是真因真果？时刻保持怀疑，保持清醒和进步！
贾新彬2019-12-09 21:49:26
近年来，机器学习与因果关系之间已经建立了真正的联系， 作者认为，如果想在AI的主要开放性困难问题上取得进展，这些联系至关重要。 目前AI有哪些困难问题，对普通人而言了解的很少很少。赞 1