《PossibleMind》读书笔记-强人工智能的公理化思考
这篇小文还是来源于《Possible mind》这本书，上面是这个系列的前作，对于这本书感兴趣的小伙伴，刚刚接到出版社朋友的通知，这本书在今年7月将会由湛卢出版中文版的。
关于强AI的话题，在《Possible mind》中被多次提及，值得关注并模仿的不只是作者的观点，而是相近的论述模式，我将其概述为公理化的思考。欧几里得从5个不言自明的公理出发，推导出了整个几何学的大厦，而后世的黎曼几何，则改变了其中一个公理，从而推出了全然不同的结论，当我们讨论强AI是否会出现，强AI的出现是福还是祸的时候，也需要先设定一些假设，再看看由此能推出什么。
首先介绍诺贝尔物理学得主Frank Wilczek的文，他的推理基于人的意识是一种自然而然的涌现现象，最终是可以通过科学的方式去解释的，就像人们现在解释了之前以为是超自然现象的物种起源，而解释了一个现象，就能用人工的手段重现出来，因此推出人类的智能只不过是更广义的智能的一个特例。这个视角将人类的智能和AI看成了一组各有所长各有所短的选手，由此引出了该文的标题，智能的汇合（The unitity of intelligence）。
接下来作者对比了俩者智能各自的长处，对于AI，速度更快，更容易的扩展自己所占有的资源，判断决策的稳定性，频率更好，模块化组合更容易，也更有可能利用量子效应。而人脑的优势首先在于其是三维的，可以自我修复，通过神经元连接的方式组成，因此可以重现组织起来改变，而经过自然选择，人脑的感知和行动功能已经汇成了一个整体。
对比出各自的优势，是要逐个看看AI能否全面的超越人脑，三维的芯片，虽然目前不能做到，但未来不会难，将感知与行动整合，电脑也只是暂时落后，而人脑真正难以超越的优势是其由神经元连接带来的自组织和自我修复，在这方面，已知的AI从原理上就做不到，由此导出AI即使能够超越人类的智能，但人类并非在强AI面前没有一丝一毫的比较优势，既然还有用，人类就可以通过和AI的合作，达到智能上的1+1>2.
在该书的另一篇文章中，George Dyson在讨论强AI这个问题时，用到的是反证法。他在文中指出了三条定理（law），第一是说一个有效的控制系统，必须像这个被控制的系统一样复杂，第二条来自于冯诺依曼，他说复杂系统的充分必要条件是其包含了关于自身的最简单的描述，因此无法对复杂的系统用比起自身行为更简单的模型来描述，第三条说的是任何一个简单到足够被理解的系统，都不能表现出智能，而表现出智能的系统，都会由于过于复杂而无法被理解。
这三条分开来看，并没有什么问题，但若是从这里推出，在我们理解大脑之前，强AI就是永远不会出现的，而怎么才算理解了大脑，我们就是重现出了大脑的所有表现，但这离我们确认自己认识到大脑，是否还有不同，这个问题的答案与科学关系不大，更类似于信仰。从这三条可以推出，不管对智能的认识进展到了那种程度，你若是不相信你了解了大脑，你永远能说你没有达到强AI。
休谟的名言，理性是激情的奴隶，这句话用到当下的背景，就是是激励而不是逻辑，决定了一个智能体的行动。在丹尼尔丹内特的文中，他指出我们不应该把强AI看成是有意识的伙伴，而应该是工具。AI的激励始终来自人提供的数据，但随着AI变得越来越显得有智慧，人们将越来越多本该由人类做的决策，交给了AI，为了避免人类智能的退化，丹尼尔提出了反向的图灵测试，之前测试的是电脑能否模拟人类以假乱真，而现在受试者变成了人类的裁判，人类去判定机器做出的决策和判断是否有缺陷和某些情况下的不足，如果人类不能定位出机器的不足，机器就不应该去作为人类的工具，就如同武士学会一套剑法的标志，是知道这套剑法的破绽，人类只有不断提升对机器智能可能出错地方了解，才能避免被走火入魔的AI带到沟里去。
而Stuart Russell关心的是我们如何为AI确定一个明确对自己无害的目标这个问题，他给出的解决方法是cooperative inverse-reinforcement learning（ICRL），可以翻译为合作中的反向强化学习，在这个框架下，智能体和人类一起合作达到一个目标，智能体要优化的不是自己的策略，而是通过人类的行为，搞清楚人类最想要的是什么。举一个大家都熟悉的例子，传统的强化学习，是训练一个能在dota比赛中战胜人类的AI，而在ICRL框架下，AI拿到了一组和王校长一起打dota的战队的比赛录像，学到了和王校长一队的人的真正的目标是要思聪玩的开心成为场上的VIP，最终当和王校长组队的由真人换成AI后，思聪不会抱怨有人和他抢人头。小结ICRL，其目地是让强AI即学会赢，也学会何时不赢。强AI能学会在游戏本身中找到乐趣，并通过这份乐趣去实现自我提升。（类似于好奇心的指导）
这个例子虽然是玩笑，但随着AI和人类合作决策的事情变得越来越和我们的切身利益与生存密不可分，如何解决给AI设定目标这个问题，变成了我们这个时代最亟待解决的难题。为何解决给AI赋予目标这个问题很重要，是由于被赋予了错误目标的AI，可能会改变人类生存的坏境，正如同人类在不了解温室效应的时候，就开始了改变人们生存的坏境，如果行动力指数级超过人类的强AI为了达到目标，用尽了全地球的水，那整个生物圈都会灭绝。机器不同与人类，可以在各种坏境下生存，但人类的生存坏境却需要紧密的微调。
前文写道，强AI应该既能做到赢得比赛，也能做到不去赢，这就是一个矛盾，所有人学下棋，都是学如何赢，而不是学如何输，但人类是可以做到不服从老师设定的目标的，如果强AI也要像人一样进化，那强AI也需要具有不服从的能力，但如果让强AI通过一个测试来判断是否具有不服从的能力，那强AI正确的做法不应该是不参加这样的测试，从而表现出不服从吗？这个问题也是一个悖论。上面的论述，来自David Deutsch，他先问了该如何惩罚一个犯了错误的AI，是将其全部软件删除吗？接着通过不服从的悖论，指出我们是否应该限制强AI的自我成长，他的观点是站在强AI带给人的利大于弊这一方，指出就如同我们不应该对犯了错误孩子判处死刑，对于正在变强的AI，即使其犯了错，人们也有道德义务，让其有改正和进化的空间，从而让智能的旅程走的更远。
这一篇就说这么多，关于强AI这个问题，总结了书中几位大牛的观点，多半有些曲解和遗漏，但我个人是认同David Deutsch的，如果我们拒绝了强AI，也压抑了未来可能有的创造力和探索的可能性，而不进则退，不能保持动态的均衡，就只能陷入热寂的平均，我们需要强AI来帮助我们解决全球变暖，极端气候等诸多威胁我们生存的问题，需要强AI来帮我们走向星辰大海。最后给出一段一个多小时的音频地址，是书中13位作者简述自己的观点，由于文件太长，无法上传音频，感兴趣的可以去 https://www.edge.org/conversation/john_brockman-possible-minds-25-ways-of-looking-at-ai-0 这个网站下载mp3音频。
更多阅读
吸引子2019-04-06 13:06:46
在这个越来越缺少同理心的年代，通用人工智能辅助人类决策做出个体最优策略，但在一定程度上或多或少的牺牲了其他人的利益，可能这个所说的利益看不见，也就是隐性价值，只是在当前环境没有价值，当个体获得利益后，内心变得膨胀，没有环境的约束，可能就像澳洲的兔子，病毒都对其没有办法控制其繁衍，不断对环境的破坏，实际上是对自身的自杀，而自身很难有意识感受到这一点，直到环境变化的恶果来临，所以要慎行，不是要跟环境博弈而战胜或破坏环境，而是达到平衡，或者提前真的意识到某些问题强行对其进行行为惩罚，约束才能获得更好的自由，与环境的和谐真的很重要！
Feng2019-05-01 10:46:31
发展人工智能，人类自寻灭亡的节奏
Eason2019-04-06 13:31:08
从底层原理解释了两种智能化的进化原理，在自然环境中的碳基进化和在星际巡航中的进化所需要面对的环境已不再一样，必须有更高级的传递遗传信息的载体。