从缺少解释性的机器学习中能学到什么

从手表到汽车，从相机到恒温器，机器学习已经在我们的日常生活中扎根。它被用来推荐视频，识别仇恨言论，驾驶其他星球上的交通工具，控制疾病的传播，对于缓解气候危机至关重要。它并不完美，会放大社会偏见，但我们还是继续使用它，因为它确实有效。
**机器学习能在不理解具体规则的前提下，做到这一切，这令人吃惊，甚至令人不安。**我们对规则的偏好是如此根深蒂固，以至于在我们看来，编写一个机器学习系统来玩围棋，甚至不告诉它规则，而是给它成千上万的棋盘和棋子来分析，这很疯狂。但这就是机器学习如何成为历史上最好的围棋选手的原因。实际上，当开发人员将系统数据提供给与某个域相关的时候，他们通常故意隐瞒我们已经知道的关于其数据之间的相关性。
例如，一个医疗AI可能的训练集，是数以百万计的健康记录，包括病人的体重，年龄，吸烟史，血压，心率，以前的疾病，治疗和结果的信息。开发人员不会告诉系统先验知识，例如症状A是特定疾病的征兆，或者疾病可以用特定的药物治疗，除非病人有过敏或心脏病。训练过程不是从概括得出这些知识开始的，通常不会输出这类概述，甚至可能没有可能产生这样可解释的概述。
我们喜欢传统的概括，例如得了某种病就要吃什么药，除非患者在怀孕。是因为首先我们能够理解它们; 其次它们通常能够推导出结论; 且可以将它们应用到具体案例上。**但机器学习给出的解释并不总是可以理解的;它们是统计的，概率的，**离开了由它们产生的机器学习模型，这些解释一文不值。
机器学习经常被诟病的不透明性，引起了人们对其可靠性和潜在偏见的严重关注。但残酷的事实是，机器学习的成功，可以带给我们一个新的理解，关于世界是怎样运作，以及我们在其中的作用。如果世界真的是遵循规律的，那机器学习的算法，就能够从基于专家的先验知识中收益，但以深度学习为代表的算法，其核心特征却是恰好相反的从原始数据中提取人类经验无法理解的特征。
例如，为了编写能识别手写数字的软件，程序员通常会指示计算机1是一条笔直的直线，8是由一个较小的圆圈叠加在一个较大的圆圈之上，以此类推。这种方法可以在规范书写的数据集上很好地工作，但在人类书写的鬼画符数字前，就会表现糟糕。
与之对应的机器学习模型，则是由知道如何从例子中学习的程序编写的程序。为了创建一个机器学习模型来识别手写数字，开发人员不会告诉机器任何关于我们人类所知道的数字形状的信息。而是给它上千个手写数字的例子的图像，每一个都不同，每一个都正确地标记为它所代表的数字。然后，系统通过算法发现组成共享标签图像的像素之间的统计关系。垂直线上的一系列像素增加了1的统计权重，降低了3的概率等等。
在现实生活中的机器学习应用中，可能的答案数量可能远远超过10个数字，需要考虑的数据量确实巨大，数据点之间的相互关系如此复杂，以至于我们人类往往无法理解它们。例如，人类的新陈代谢是一个疯狂复杂的相互作用和相互依存的影响。所以，想象一下，一个机器学习系统被创造出来，它能够很好地预测人体系统对复杂原因的反应。我们称之为 DeepMetab 的模型，能够回答患者的提问，例如‘如果多吃蔬菜，身体会怎样？DeepMetab成为关于人体生理知识的最重要来源，尽管我们无法理解它是如何产生其输出的。
随着我们对诸如 DeepMetab 这样的机器学习模型的依赖程度越来越高，我们面对下面两种选择:
第一种观点是，为了获得深度学习产生的有用的、概率性的输出，缺少解释性是一个我们经常必须忍受的缺点。
第二种说法是，无法解释不是一个缺点，其反映了更深刻的洞见: 深度学习之所以有效，是因为它们比我们更善于理解世界: 它们来自于比其他人类的认知框架，能够处理的更多、更精细的数据间的统计关联，还不必担心向我们人类解释自己是怎么运行的。
正常的日子，世界就像一条运行良好的铁路: 事情根据我们人类理解运行，有着纤毫不差的规则和概括而发生。但在其它时刻，我们体验的世界，仿佛发生拥挤到注定要连环车祸的高速公路。同样的物理定律依旧适用，但是有太多的运动组件，我们无法预测下一次的车祸，我们也无法解释这其中的细节。
我们以为我们大多数时候，都过着正常的生活，但机器学习在日常生活中的广泛应用，揭示世界的主宰，更多的是偶然性而不是固定的规律。因为机器学习模型，是通过摒弃那些通过简化来解释复杂性，从而变的可理解的规则才去的成功的，其成功告诉我们，世界是一个的黑匣子，我们看到的，是哈哈镜中的幻想。
机器学习得出的知识，可以看成奇怪的特例: 一个模式的静脉在视网膜扫描，可能预示关节炎的发病，但只有当有50个其他健康记录中的具有特定的数值时才成立，这50个因素的变化取决于他们的相互关系。这就像你的车是如何避免在多车相撞中受到严重损害的: 汽车必须克服如此之多的“如果”“而且”和“或者”，以至于事件并没有简化成一个可以理解的规则，使你可以阐述出来，或者应用到其他情况中。它就像谋杀谜案中的线索，只有当以一种不能一概而论的方式结合在一起并应用于未来的谋杀案件时，才能指明凶手。
**这并不否认存在一般性的原则。而是否认这些一般性的原则足以解释像在复杂的日常生活中发生了什么。**生活中偶然的细节，每一个都会影响到所有其他的细节，从而压倒了规则的解释力，即使我们知道所有的规则，我们也无能为力。例如，如果你知道万有引力和空气阻力的物理定律，知道一枚硬币的地球的质量，以及硬币落地的高度，你可以计算出硬币落地所需的时间。
这可能足以满足你的实际目的。但是传统的西方认知框架，过分强调了规律的力量。为了应用这些规则，我们必须知道影响坠落的每一个因素，包括哪些鸽子会搅动翻滚硬币周围的气流，以及遥远恒星同时从各个方向拉扯硬币的引力。要完全准确地应用这些定律，我们必须拥有拉普拉斯妖般全面而不可思议的知识。
在很大程度上，我们被永恒的法则所吸引，这些法则足够简化世界，使我们能够理解它，从而预测和控制它。与此同时，这些简单而美好的法则向我们隐藏了混乱的细节，这些细节不仅由法则决定，而且由每个细节的状态决定。但是现在我们有了一种预测和控制的技术，这种技术（机器学习）直接来自于同时发生的微小的混沌相互作用。这项技术给了我们更多的掌握，而不是理解。它的成功让我们注意到了那些我们无法理解的东西。
与此同时，出于同样的原因，机器学习可能正在打破西方对确定性的迷恋，不再将其作为知识的标志。机器学习的结果是概率性的。事实上，完全确定的结果从一个机器学习模型是怀疑该模型的原因。机器学习的输出，作为概率，有一定程度的不准确，是模型的内在特征，一个真正的概率陈述，会包含一个能够正确地预测可能发生错误的程度（置信区间）。
在论及和人有关的事情时，心理学中的基本归因谬误，描绘了人们在考察某些行为或后果的原因时高估倾向性因素、低估情境性因素的双重倾向。机器学习算法的成功，就在于其不可能犯这样的错，而反过来看，其成功不正反过来说出，人类的行为，更多不应该归结于其本性，而应当看成是特定情况下的应激反应吗？这意味着我们比想象中具有更多的可塑性，虽然在集体上，我们符合概率性的规律，但对个体却是自由的。
我们认识到模型缺乏可解释性，这打破了我们对确定性和永恒规律的无效追求，这不是对科学规律存在的否定，而是指出其应用的局限，从而让我们得以更自由的去扩展认知，更宽容的看待发生的事。
更多阅读PNAS：数学模型预测群体选择受到社会学习者比例的影响
智商测试无法测量的认知灵活性是学习能力和创造力的关键

Justin Liu2021-11-19 22:55:35

一个足够强大的预测模型，会和它所预测的系统具有同等复杂度，从而完全无法理解但事情就这么发生了。这个时候我们就可以称其为元宇宙[Facepalm]

Mantleplume2021-11-19 23:34:37

深度好文。生活中偶然的细节，每一个都会影响到所有其他的细节，从而压倒了规则的解释力，即使我们知道所有的规则，我们也无能为力。