读《数学杀伤性武器》-大数据的字里行间写着吃人
《Weapons of Math Destruction》被翻译为数学杀伤性武器，下月中信出版社将会推出中文翻译版。但是这个翻译漏掉了大规模这个关键词，从而使得原标题概括的全书主题少去了最关键的一环。在众多反思AI的危害和盲信的书籍中，这本书是读起来最让人感到不安与后怕。标题中的数学指的是越来越复杂的机器学习算法黑盒，杀伤性指的是根据过去数据中的趋势去对未来的人展开歧视，而大规模指的是这些产生歧视的算法正在被无差别的广泛的使用着。
《数学杀伤性武器》这本书的作者是数据科学家，拿到了哈佛大学的数学博士后，她在华尔街做过量化金融的宽客，也做过巴纳德学院的教授。她书中的例子都来自于美国近几年来的真实案例，涉及金融，教育，社会保障，司法，人力资源管理等多个场景，其中颇有一些科幻小说中的情节，例如通过识别脸型来判定谁是恐怖分子，从而拒绝让其登机，甚至还被拘押。这样的事情在美国真实发生过，每周都影响数千人，但其中究竟有多少真正的恐怖分子，虽无从统计，却多半少之又少。
接下来想说说这本书提到的大数据的诸多危害中，最令我个人觉得不安的一类。百年前的《狂人日记》中写道救救孩子，百年之后，如果我们不停止对大数据和AI技术无条件的崇拜，那在未来，我们的孩子一生下来就会处在不同的起跑线上。不同的孩子的确有着不同的天赋，但他们应获得平等的机会。大数据技术会基于过往的数据，来判定一个孩子是否应当获得稀缺的资源，比如能不能被幼儿园录取，那些爱好值得追求。如果大数据和AI取代了人类，成为了做最后决策者，或者对最终的决策有显著的影响，那么未来的梅西也许会因为身体的缺陷被劝阻不要花时间踢球，单亲家庭的孩子在入学的时候也会被歧视。
今年的一则新闻报道了浙江某中学将人脸识别技术用在课堂上，通过视频监控学生的表情，来判定学生是否在认真听课，从而给学生打平时成绩，同时作为评价教师的课程好坏的参考。这样的创新，究竟会对学生带来怎样的影响，需要广泛的讨论和研究，要考虑的不止是孩子的平均成绩是否会提升，还有考虑上述创新会对孩子的好奇心产生怎样的影响，即使上述创新能够提高平均成绩，也要考虑这会不会歧视些天生比较活跃的孩子，从而让她们无法发挥出自己的潜力。
另一个大数据技术在教育中的应用场景是自动化批改作业及试卷。从初衷上，这样的创新能够让教师不在把时间花费在繁琐的重复劳动上，从而能花更多的时间在备课上。但算法总会有一定的概率会犯错，哪怕准确度有99.99%，对于那一个由于算法错误导致考试成绩降低了的孩子，这对她就是不公平的，对机器盲目的相信肯定是不可取的，那在这样的情节下，多高的准确度才是可以接受的，这是一个值得全民讨论的问题。
前一个例子不算大规模的伤害，但本例中大数据在教育中的应用却可能对很多孩子造成伤害。自适应的教学系统，能够根据孩子现在的水平，给孩子不同的学习内容，对于目前水平较差的孩子，它会给孩子不那么难的题目，从而能够让孩子快速的提高成绩。但这样做的会在长期上对孩子的心智产生怎样的影响了，会不会让他们觉得自己不管在什么领域都不如别人，不必追求最好，从而让这些只是一时落后的孩子无法成为她们本可以成为的更优秀的样子。教育学家需要先对类似的系统进行长时间的研究，而不应无条件的因为短时间的好处就将这样的创新大规模的盲目推广。
针对大数据被滥用产生的种种危险的苗头，作者给出的建议首先是对可能会产生不公平的判断的智能系统进行审查，书中写道：*在深入软件代码之前，第一步是进行学术研究。首先要把模型当做黑盒看待，给出数据输入，看输出情况。*其次是让人类保有最终的决策权，决策者会参考AI模型给出的打分，但做决策的人却要能深入的意识到到模型是基于对过去不完全观察进行相关性分析得出的判断，即不能判定因果性，也不保证适用于当下的情形。
数据和算法在我们，尤其是我们的孩子接下来的生活中会发挥越来越重要的作用，若不想让未来的孩子觉得代码的字里行间都露出吃人的样子，你就应该读一读这本《数学杀伤性武器》，并通过行动来推进未来会出现一个保障公正与平等的AI。
更多阅读
从前慢背后的道理-读《The efficiency paradox》
JSH2018-07-27 23:36:15
一本毫无新意的怀疑论书籍，你把“大数据”换成“中国班主任”同样会出现一样情况，没人怀疑班主任，只是因为大数据能被查出犯错几率，而班主任没人查。另外出现一些政治正确为目的的无聊judge，而且总是以“你不能保证它一定安全吧”为理由批评当下大数据技术，这估计就是李笑来批判的脱离不出“100%安全感”。
Chaya2018-07-28 16:23:18
看到批评该书的评论之后，更觉得该书出中文版的必要性: 指出负面未必是为了否定，重在提升使用的警惕。书里提到大数据在教育中以有区别的针对性的对待实则抹杀个体的可能弊端，非常值得我们反思[强][强]
allen2018-07-28 17:15:03
马斯克在联络硅谷大佬盟誓不用AI开发致命武器，而我们的留言在愤恨凭什么人类互相歧视而不许机器歧视人类
关鑫2018-07-28 05:10:57
为什么人可以歧视人，机器不行？机器被设计出来是追求公平正义的？赚钱啊，歧视要付出代价，通常情况下商业领域的歧视意味着提高效率=赚钱。赞 1