存在性风险与人类的未来-新书速读

2021-11-06 约 2559 字预计阅读 6 分钟

《危崖》可能就是未来学家一直在等待的《寂静的春天》

这本名为悬崖的书，封面是从月球拍摄的地球照片。本身是对人类作为一个物种，在当前时代所处的境况的精准描摹。人类如同一个第一次走在山间小路上的行人，路的尽头是光明的难以想象的美好前景，而路边则是万丈悬崖，稍不小心，就会粉身碎骨。

在地球之前数亿年间，也曾出现生物大灭绝。然而之前的灭绝，都是由于外界环境改变而造成的。技术的进步，使得第一次由内生原因造成存在性危机的风险，高于外生环境因素造成的。

所谓存在性风险，不一定意味着人类的灭绝，而是意味着人类失去了探索未来的可能性，科技的进步被不可逆转的“锁死”，例如在机器人的圈养下，人类能够生存，却再无法探索宇宙。

墨菲定理指出，坏事情总会发生。对于地球或整个生态圈来说，也是如此。哪怕亿万之一的风险，年复一年的积累，也会在长期来看变得不可避免。然而，不同于相对独立的自然风险，人类自身带来的存在性风险，并不是相互独立的，而是互相之间有关联的。
由于单一的存在性风险，发生的概率的概率，远比所谓的“黑天鹅”事件更低，因此即使是长期的规划，也不会考虑这样杞人忧天式的风险。而若是投入资源研究如何避免存在性风险，受益者是全人类，而投入者只是全人类的一小部分，由于收益和投入间的不匹配，人们更加不会关注如何避免存在性危机。

书中列出的人类正在面对的三种危机分别是核武器，气候变化，以及人工智能的目标设定。每一种都有可能让人类失去本该拥有的亿万年时间。关于人类正还在面对那些其他的存在性危机，可以参考Edge系列问题中的“那些科学家们彻夜忧虑的问题”一书，书中的上百个回答，会更加全面。
对如何应对存在性风险，部分人会认为回答是“前进，不择手段地前进”，如果能够在其他行星，或者其他星系上重建文明，那么地球面对的风险，将不会出现在其它星球上。然而这并不是作者推荐的方式，因为人造的危险，从来都不是相互独立的。
正如因为驾驶对自己和他人都有风险，因此各国法律都会限制青少年开车的年龄。在面对面对任何可能会带来存在性风险的技术时，都不应该操之过急，而要等人类作为一个整体的智慧，足够驾驭这项技术时，再去应用这项技术，这是该书对于如何在长期持续的减缓存在性风险，给出的建议。
拿个人如何应对存在性风险类比，前者是买重疾保险，之后就胡吃海喝。而后者是从小的家教，让你在第一次吸烟，第一次饮酒前，都能够审慎地查资料，去考察其对健康的影响，再去决定是否要吸烟喝酒。毫无疑问，前者并不能让你更有可能获得健康的晚年，实现自身的潜能，而后者则能达到这一目标。
彻底锁死了未来发展可能的存在性风险，为我们分析社会问题，带来了新的概念工具。作为一种终极的负外部性，当社会中的越来越多的人面临难以避免的存在性危机时，整个社会的发展也就陷入了“平庸化”，当三合大神，外卖小哥等把越来越多的劳动力看成是用过即废弃的易耗品，那人口优势就会变成阻碍进一步创新的障碍。

导致人类未来被锁死的另一种可能性，是人类决定技术太危险，决定放弃技术进步。这样做的结果，是在长期来看，失去应对诸如超新星爆发，彗星撞地球这样的由环境剧变导致的存在性危机。书中推荐的不是不去发展新技术，只追求用尽一切办法生存。而是提醒在面对有可能带来存在性危机的技术时，让人类的集体智慧提升，能够多一些时间去追上技术的发展步伐。

对于个人来说，类似的存在性危机，是觉得做选择的太过沉重，不愿意承担相应的责任，随大流般的隐身于人群中，让容易被操控的大众替你做出选择。对于个人来说，真正的存在性危机，是在年轻时就患上本来老年人更可能患上重病。朋友圈中，看到众多水滴筹募捐，觉得其中大多是由于忽略了自身面对的存在性危机，在日常生活中，随波逐流，没有做出正确的选择，例如经常性的运动，健康的饮食，应对由自己承担相应的后果。
唯有考虑到人类作为一个整体，如果能够不断地越过一个个由技术带来的存在性风险，那能够探索的宇宙有多么广阔与神奇，才能激励我们作为一个整体，在如今投入资源，去研究有那些存在性危机，又该如何避免它。
而对个人来说，社会与其讲述一个点子一次成功让你财富自由的故事，不如描摹拥有一个健康而富足的老年，能够探索到怎样壮阔的风景，能够有机会见证到人类更广大的可能性。对何为美好未来的管理，能够影响人们当下做出的决策，从而让他们能够减少自身以及他人面对的存在性风险。

追梦人2021-11-19 09:06:11

人机共生的未来世界现在的计算机只是半自主，未来如果做到偶发，实现了真正的智能，就需要面对它会拥有自己的意识，会像小猫小狗乃至小孩子那样不听话甚至反叛。而且对于自主个体，机器人三定律这样的软约束是无法保证其不会伤害人类，这时候监督、惩罚、筛选等措施将会是十分必要的。同时人机共存的社会人们恐怕要接受机器人会伤害人的事实，这个过程将会是曲折而漫长的，这在自动驾驶上就已经开始应验了未来的人工智能偶发+分布=自形成→自我进化目前的计算机还没有实现真正的智能 DNA有突变，大脑有偶发灵感。现在的计算机无法产生偶发信令，不能自主演化，仅仅是做到了半自主，还没有实现真正的智能突变与信息系统本质是相通的，它们都是小因大果的呈现，不稳定的是前者，稳定发生的是后者。它们都是具有放大效应的因果机制进化是在大量的试错和筛选中前进的在自动步枪中，扣一下扳机打出一发子弹是半自动，扣住扳机连续发射是自动，而自主就是没人扣扳机也没有其他外界信息反馈，枪自己发出了子弹。这才是偶发如何在计算机中实现偶发让其像大脑那样自主演化是件异常困难的事，但这会是未来做到普适性实现人工智能的关键要在经典计算机上做到偶发，实现真正的人工智能恐怕很难，类脑计算机和量子计算机倒是有很大希望量子计算机在运行中有相当比例的错误率，这里的错误会是实现计算机普适性的关键，但前提我们要找到驾驭它并进行信息筛选的方法。这将是通往人工智能的必由之路

Boyan Zhang2021-11-08 09:24:53

无论翻译如何，封面真令人遗憾

潘骏杰2021-11-07 16:17:09

怀特不会发明汽车正如福特不会发明飞机一样。几亿年前那场灭绝或许正是某场星际大战的残骸，这么看起来对那些所谓"恐龙"而言是坏事的，对人类而言反而是好事。