《做出明智判断的10个方法》这本书的英文名是《A short history of truth》，书中讲述在这个后真相时代，如何做才能在信息洪流中去伪存真。书中的建议，让我想起来之前关于机器学习中泛化能力的讨论。不论对于机器还是个人，都需要从不完全的观察中，推测出未知的，全局性的情景。因为两者要实现的目标从本质上讲是相同的，因此两者间的方法是可以借鉴的。针对这本书中提出的10种方法，本文会给出其在机器学习语境下，相应的思考。

1 **保持怀疑，但不要怀疑一切：**需要怀疑的是基于数据的外推是否过拟合，你在数据采样时是否有偏，数据收集的过程是否附带了会影响结果的干预，而不应该怀疑的是数据本身的可靠性，尤其是当数据和自身先验（已有观点）不合时。怀疑一切，就是走向虚无主义。

2 相信理性，但不要确信不疑：理性指的是形式化的推理过程，适用于塔勒布说的“平均斯坦”，即有章可循的能够计算概率的场景。但一旦到了充满黑天鹅的未知的未知，此时就不应该再对形式化的概率计算与得失权衡确信不疑，而应该审慎地先确保自己活下来，此时就不应该抱有理性的自负。

3 追求确定性，但不要执着于确定性：对确定性的追求是为了达到用最少的假设，得到对数据出现最大概率的解释。追求确定性符合贝叶斯派对泛化的核心观点，即我们需要简单的模型来解释数据。但执着于确定性的最大化，会让我们选择性地忽略不符合简单模型的数据。
4 学会认知，更要学会如何创建新的认知：泛化能力不足的原因是数据不足，因此要学会认知，收集更多的，特别是其他类型的数据。按照几何学派，泛化能力是找一个分类界限，叫已知的数据点离分类边界尽可能的远，而这就是创建新的认知。机器学习的元学习，即自动化的创建新的模型结构，也是在构建新的认知。
5 关注事实，更要关注描述事实的方式：模型是用来描述事实的，当数据集的轻微变化， 模型参数剧烈变化， 这样的高反差会导致对事实扭曲式的描述，通过把多种模型平均起来减少了模型在新数据上的方差，例如随机森林，可以减少过拟合的风险，因此我们不止要关注事实，更要多找出几种用来描述事实的方式。但要铭记这些替代性的视角不是真相本身，而只是对真相的扩展或投影。
6 不盲目相信，而要追问何人收益：当模型错误分类之后，可以将错误的数据重新拿出来，将这些数据用于训练新的模型，从而使用多种模型提升分类的准确性。之所以能这样做，就是通过追问模型/对事实的描述让谁受益，来决定接下来应该怎么做。我们需要了解自己被蒙蔽的方式。

7 不擅下定论，而是审视更多证据： 连接主义学派认为， 过拟合的风险来自于神经网络对数据过于精准的拟合能力，而这种拟合本质是记忆数据在高维空间的投影。通过dropout，让模型忘记得出结论的部分过程，可以迫使神经网络去审视更多的证据，或者用其他方式去重新解释已有的数据，从而提升模型的泛化能力/人的判断力/
8 为自己思考，而不是独自思考：从进化算法的角度来解释过拟合之所以出现，是由于agent失去了可进化性， 从而无法走出局部最优。独自思考指的是不和其他agent进行交流，从而无法取长补短，而为自己思考指的是基于agenet对当前坏境的表征，决定最优的决策是什么。

9 不轻易否定，而是多角度评判：缺少泛化能力的表现在于模型的稳健性较差，而提升稳定性的方式在于构建出因果模型，有了因果模型，才能评价不同子集的数据之间是否能通过干预进行改变，所谓评判，指的不仅仅是描述数据本身，而是找出数据间的关系，以及对数据进行反事实的推断

10 不追求中立观点，而是形成观念之网：从复杂网络的视角看，具有高泛化能力的解释，处于网络的中心节点，不会由于单一事实或解释的崩塌而变的不可信。编织观念之网的过程，是将我们对事实的种种解释连接起来，指出相互之间那些是相互佐证，那些又是相互反驳的。真相需要整体地去理解。
抵达真相所需要的美德例如：谦逊，怀疑，探索以及面对权力的无畏。后真相时代这些美德变得不合时宜。然而但凡要追求真相，至少需要真诚和准确这两种美德。真诚指的是让你的期望状态与测量状态之间的差距最小，不让看到的和心里想的差距太大，即自由能最小原则；而准确是通过信息压缩及数据降维，用清晰的语言来描述高维空间难以言说的事情，对应信息瓶颈理论。
更多阅读
4种不同的记忆及记忆的本质
《诚实的信号》读书笔记 激活网络中的智能涌现
海马体启发下的类脑人工智能

施飞2020-04-06 09:00:21

这10点总结在一起，不就是说看事情要客观？

王子洋2020-04-07 15:48:11

很有趣

侯伟2020-04-05 22:29:16

这篇的行文风格就是遵从了第十点吧，条理清晰、信息密度高的文字看着真舒服

关鑫2020-04-05 22:27:40

一点拙见，在理论适用范围内，应该拟合到什么程度，范围外有什么，有大概率出范围，应该付出多大代价防范。训练数据量大不等于丰富，泛化能力首先要长见识，识别不同情况，低水平重复越多越容易过拟合。捡到ufo，拿锤子敲一圈出结论显然不行，要所有检测手段全上。

Astrostar2020-04-05 20:11:34

湛庐现在的书封面都搞大字体风格[偷笑]