自由能最小说的是什么？又该怎么批判性的去看了？
写在前面的话：本文来自与与许铁，Justin的讨论，其中很多文字都来自许铁，作者应该标明为三人的，只是微信不允许这样标注作者。
卡尔·弗里斯顿（Karl Friston）是世界上最有影响力的神经科学家之一，他最近提出的一个理论，可以看成是生物科学，认知科学与人工智能的大一统理论，该理论试图用一个原理回答薛定谔提出的“生命为何会产生负熵”的问题，还论及了部落、宗教和物种的产生与生命是什么这个问题有共通的答案。这个理论就是**“自由能量原理”（free energy principle）**。
自由能原理的前身是对大脑运行机制的一种描述方式，即predictive coding（预测性编码），说的是感知、运动控制、记忆等大脑功能，都依赖于大脑对现有经验和未来期望的比较，大脑在每一层次上，都对特定环境下最可能有什么体验的预测和感官传入的实际信息进行对比，如果发现预测出来的结果不对，那就需要神经系统中更高层的介入，（例如潜意识搞不定的才会显式的进入意识，自动处理系统二预测失败的，才需要耗时更多的手动系统一的介入），通过改变信念或者预测基于的假设，让思维”成为一种“受控制的幻想”。
认知的过程用机器学习的语言说就是用大脑的内部变量来模拟外部世界， 并希望建立内部世界和外部的一个一一映射关系。 这里我们说认知的模型是一个概率模型，并且可以被一系列条件概率所描述。如果用一个形象的比喻来说， 你可以把你的大脑看成一个可以自由打隔断的巨大仓库， 你要把外部世界不同种类的货放进不同的隔断，你的大脑内部运作要有一种对外界真实变化的推测演绎能力， 即随时根据新的证据调整的能力， 你和外界世界的模型匹配的越好， 你的脑子就运转越有效率。
熟悉神经网络的训练方式的可以想到反向传播算法，或者自编码器（点击查看介绍文章），但更贴切的例子是生成查询网络，根据包含几个物体的单幅照片，预测从另一个视角看这些物体是什么样子。
图片来源 Deepmind
而自由能最小原理，就是用统计物理的范式，将预测误差用数学化的方式描述为自由能。什么是物理里的自由能法则？ 一句话说就是： 任何处于平衡状态的自组织系统均趋于自由能极小的状态。 我们的大脑通过几个标准模块是感知， 认知与行为和外界环境进行相互作用。认知系统包括生命本身一个核心的目的，就是预测外界环境的变化， 如果能够准确预测， 就是说预测误差最小，它就满意了 ，这个预测环境误差最小。
之所以说自由能最小理论是大一统的，在于其**以用一个原理了感知，运动控制和情感的产生。**在感知过程中，思维模型被调整；在运动控制中，外部世界被调整；而情感反映了大脑对与生存密切相关的指标的预测，例如血糖不足时你会焦虑，这份焦虑促使你找到食物，从而减少了预测的和实际观察的（血糖水平）的差距。对精神类疾病，例如精神分裂，自闭症，也可以解释为实现自由能最小化这个目标时走火入魔，前者是大脑过分关注自己做出的预测，而无视那些与预测背离的感官信息，而后者是感觉器官相连的低级神经活动的预测误差被过分强调了。
该图对自由能原理进行了概述，解释了两种计算自由能的方式，自由能量是期望状态与测量状态之差。当大脑做出的预判不能很快被感受器证实时，大脑可以通过以下两种方式之一来使自由能量最小化：修改预判——接受意外，允许错误，更新世界模型；或者主动让预判成真。当你把自由能量最小化，也就意味着意外最小化。
马尔科夫毯（Markov blanket）是自由能假说的一个关键组成部分，通过将毯内和毯外的交互限定在特定条件下，要么通过改变内部观察到的模型或者观察其他地方的外部环境，使得内在状态不直接改变外界环境，保护毯内状态不受外部影响，马尔科夫毯可以看成是“认知版本的‘细胞膜’。每个人身体内部也存在各式各样的马尔科夫毯，有分隔器官的、分隔细胞的，还有分隔细胞器的。
将自由能理论进一步展开，就会推广出无论是生命组织本身还是大脑，都需要不停的构建外部世界的模型。 因为你的模型与外部世界越匹配， 就可以越好的预测外部环境的变化， 从而减少感知误差。有生命的个体，在其内部要保持相对的稳态，对于一个细胞是这样，对于一个器官，一个生物，一个生态系统也是这样。例如细胞层面不同基因的表达量，转录后的修饰，蛋白的折叠不同，都可以看成是为了减少对周围环境的预测误差所做出的行动。
不同尺度下不同的最小化自由能的方式
**生物体为了保持内在的稳态，可以未来进行预测，也可以选择性的采样，**即选择待在那些对维持自己稳态友好的坏境里。对于大脑来说，选择的是第一条路，即预测误差的最小化，而对于癌细胞来说，则是通过改变周围的环境来让自己更容易保持稳态。每一个级别的有机体，都是一个不断在计算内部稳态和外部环境相吻合的程序，所有这些程序不断叠加起来就是我们见到的生命的层级结构，由此产生了自组织，涌现与负熵。而进化本身，则被看做是一个虚拟的“物种” 在对环境做一个贝叶斯推断和决策，由最新采纳的证据更新先验概率得到后验概率，最终也是为了最小化预测误差。
从总体上来说， 这个理论给出了一个内涵非常丰富的思维框架。 按照该理论的暗示， 无论是生命组织本身还是大脑，都需要不停的构建外部世界的模型。 因为你的模型与外部世界越匹配， 就可以越好的预测外部环境的变化， 从而减少感知误差。自由能最小解释了在一个熵增的热力学宇宙， 生物系统如何能够保持秩序， 由于这种预测外部世界的趋势， 生物系统不再遵守熵增， 而是热力学下的自由能最小， 从而保持了秩序。
从这个原则出发， 我们立刻可以得到：
1， 大脑神经编码的的bottom up processing ， bottom up 自下而上， 做的是感知信息的压缩， 为什么要压缩？ 因为虽然感知信息是高维的， 但是驱动真实世界变化的动因却往往是低维的， 你把它压缩成低维， 就有更大的可能得到主要的预测因子。 想象一下整个深度学习的成功的一个关键点在自编码器，这个降维工具的训练成功， 也就可见一斑。 感知神经系统采取类似CNN的多层结构， 做到步步压缩。
2， 大脑神经编码的top down processing，这个步骤所做的是， 大脑的高级神经皮层， 通过联想， 寻找外部世界下一步可能出现的状态， 这里面包含的根本原理在于， 如果我们需要预测外部世界的变化， 我们一定需要做到的是内在世界的模型某种程度就是外部世界的映射， 这样， 内在世界的变化， 就可以作为外部世界的预测， 这也就是我们说的predictive coding。 这个东西，反过来通过top down 也就是从深层向表层的连接， 改变我们的感知， 使得我们有了相由心生这样的现象。
3， 记忆网络。 如果内在世界需要是外部世界的映射。 而外部世界的网络方程是相互连接的动力学系统， 那么内在世界的模型也应该是类似的包含正负反馈，相互连接的动力学网络，这也正是神经网络的数学本质， 我们抽象出来称为一个常见的机器学习模型RNN，为了让记忆变得可变，引入了长程与短程的记忆单元，即让神经网络学会了遗忘的LSTM。
能够得到如此内涵丰富的联想，已经说明了这个理论的博大，但是也不得不看到， 这个理论的本身也包含一些自身难以解决的问题：
1， 我觉得该理论最难解决的一点在于认知和行为的关系。 如果说认知要做的是正确的预测， 那么大脑就会变成一个越来越完善的分类器或回归模型， 但是事实不是如此，任何生物系统需要做到的是正确的行为， 那么， 正确的行为是不是正确的预测呢？ 我们想象一下， 那些细菌， 可能没有丰富的认知， 但是它们的行为具有极好的鲁棒性又如何理解呢？ 我们说的， 生物系统的存在本身是为了存在和繁衍， 又如何放到这个框架之下？
举一个非常小的例子说明， 假定动物认知和行为的目标是对外界环境的预测误差最小， 那么一个小鼠无非呆在一个墙角里不停的撞墙， 这个时候它一定能精准的预测每次撞墙的作用力， 但是这样的小鼠应该早就被自然淘汰了。
2， 过于野心的统一之梦。 与爱因斯坦希望统一基本作用力一样， Karl希望统一从生命到认知在内的所有生物相关的复杂系统现象， 然而， 我们直到， 任何理论往往存在适用边界，这个统一的梦想是否一定正确呢？一个解释了所有事情的理论，其实就是什么都没有解释。
3， 可证伪性， 如果Karl的理论可能是正确的， 那么有没有一系列的理论可以对其进行证否呢？ 这是一个非常关键的问题， 因为如果一个理论体系无法有效的实验证伪， 解释力再强也称不上科学。 目前来看， 自由能最小原理数学相对严密， 但缺少特别有效的实验系统。 因此也没有得到神经科学界的普遍认可，仍然是一个有争议的假说，虽然最近有越来越多的实验暗示自由能最小是有道理的。
4, 强化学习： 从自由能最小的理论看，行为的产生也是为了给世界一个合理稳定的解释，这一点上看， 这一点和目前的强化学习不完全符合。 虽然强化学习里追求的奖励最大化， 可以转化为时间差分学习里的最小TD误差， 但是那里的核心是我们需要最有效的预测未来的奖励大小， 而不是单纯的预测下一秒会出现什么， 你能预测下一秒出现老虎， 不代表就不会被老虎吃掉。 但在复杂的坏境下，奖励最大化 AI 表现明显“没那么稳定”；主动推理 AI 则会更好地适应环境。这一点在神经网络进化（点击查看相关文章）中也有涉及，一开始也没急于求成，先积极探索环境，降低预测误差，这样通过进化产生的模型会更有可能在一个变动的环境中脱离最优解。
5， 心理学证实： 作为一个被认为能够统一所有心智现象的模型， 显然要与心理学的所有现象符合。 这一点看， Karl 的理论可以说是解释了一部分的心理学现象。 比如你我都讨厌不确定性， 都希望生存在一个稳定可预测的世界。 但是还是刚刚说的， 谁也不想预测自己明天会死， 而是预测自己明天会发大财， 单纯把预测客观世界看成一种目标， 恐怕很难说是符合心理学现象的。
对于个人来说，自由能理论也不止是智识上的游戏，文中指出了俩种减少自由能的方法，一种是通过行动带降低意外的最大值，另一种是扩大你认知的范围，让你能够看到更多。比如你在一家企业工作，你和企业组成的整体之间就存在着自由能，这包括企业解雇给你带来的冲击，长期在一家企业工作带来技能退化，企业中流行的习惯给你带来的伤害（例如长时间的加班或者推卸责任），所有这些都是你要避免的。类似的，选择和谁构建家庭，也可以从自由能的角度去思考，要使组成的家庭中的自由能最小，首先要确定家庭中会出现那些意外，是个人三观，还是成长背景，经济地位的，在想想该如何通过改变认知及行动的模式（习惯）来降低自由能，从而使家庭稳定。
神书《有限与无限的游戏》将世界一分为二，一种可称为有限游戏，另一种为无限游戏。有限游戏以取胜为目的，有限游戏有获胜者，那么这个游戏必须有一个明确的终结。有人获胜，有限游戏便终结了。而无限游戏以延续游戏为唯一的目的。生命玩的是一个无限的游戏，而现在的AI，不管再怎么厉害，都还是在玩有限的游戏。这本书中有一句话，和自由能最小化也有关系，是这样说的，“训练在未来重复已完成的过去，教育将未完成的过去延续到未来。”
训练需要的是有标记的数据，会带来不同奖励的数据，训练的过程只是通过迭代去找出最优的马后炮式的解法。而通过将预测的误差降低，就将过去的信息应用到了未来，这也是终身学习者应有的心态。世上只有一种无限游戏，这个无限的游戏将其他所有的有限游戏当作子游戏。就如我与地坛的结尾写道“宇宙以其不息的欲望将一个歌舞炼为永恒，这欲望或游戏有着一个怎样的名字，我们大可忽略不计。“，宇宙的欲望，按照自由能解说，就是最小化其预测误差。
更多阅读
Sammi2019-01-27 16:13:39
这个理论有种生物哲学的意思
小宇2019-02-02 12:21:19
这不就是交叉熵优化原理吗？预测的非真实分布越接近真实分布就越优化。进化和智能不过都是在寻求交叉熵的最优解。 而交叉熵的哲学核心又落在热力学第二定律上，热二的物理基础性描述了一切！ 所谓“自由能最小”说，似乎没有太多新意，换了个词而已。 人类意识中有“非理性”的部分（就是马云说的没有救的部分），但这是人的“自由”，就如同“自由能最小”所谓的那样——自由大了，人就傻了；但人理性了，智能了，就没有了自由！ [捂脸]
易智伟（和元生物CRO&CDMO北京）2019-04-24 01:05:40
存在本身就反自由能最小了
小火柴2019-01-30 07:35:11
有个疑问 如果说“宇宙的欲望，按照自由能解说，就是最小化其预测误差” ，那岂不是应该退回到了奇点吗
作者
所以说这是个不完整的理论，也无法解释生命的起源