从梯度消失说说体验的层次
写之前的话:这是一篇挺难写的文,我试图从深度学习中的梯度消失问题说起,写一些我们日常生活中的事,文章写得好是跨界,写不好就成了谁都读不懂,这个话题在脑中徘徊了很久了,今日勉力试一试。其中关于梯度消失的内容,对于懂得读者可以跳过。
深度学习在模型训练之中,要面临的最大的问题就是在多个隐藏层之间,梯度的从第一个隐藏层传播到第二个隐藏层的时候,第二层学到的东西不够多,到了第三层,学习的效率就更低了。梯度消失的结果是深度神经网络中较深的几层并没有学到什么,整个网络的效果和浅层网络并没有什么区别。
上图中,反向传播的第一层的权重变化较大,如图中的黄色柱状显示。而第二层则相对来说变化更小。说的就是梯度消失的问题。
由梯度消失想到生活中的问题,还来自于一次和朋友就科普文的讨论。那时我写的一篇科普文中写到了OR值(odd ratio)和P值的计算,然后编辑就说这文太硬了,说不需要这些太技术的东西。直接给读者结论就好,最好是简单的直接的结论,不需要向你这样加很多限制和让步。而这让我想到人的认知也是一层层的,要想在这个复杂的社会学到真正重要的东西,第一层是要学会加减乘除,第二层是要学一些概率统计,第三层你要有批判性思维的套路,再往上才是总结能力和表达能力。然而现在的很多科普包括付费的知识服务,却无法将知识落到底层上。而这是和深度学习中的梯度消失的问题是相似的。
由此我想到很多生活中类似的问题,最容易想到的是层级分明的系统中,常常会出现的“政令不出××海”的问题。对于所有的大组织,这都是个难题,大企业病的根源,还在于上层的决策,传递到了下层,就没有了执行力。这在过去可以说是信息传递中的误传,但到了现在这样一个信息数字化的时代,这样的问题也依然如故,这是为什么了,这就引入了我这篇小文真正想说的点上,即被动的接受体验和主动的去体验之间的细微差别。
都说如今是体验经济的时代,但我们所体验到的,大多是被动设计的体验,然而这些体验,虽然有着精心设计的激励体系,却无法带给你深度的满足,这其实背后的问题,也可以用梯度消失来解释。不管是电子游戏,旅游线路,还是知识付费的产品,带给你的体验虽然不同,但都是预先设定好的,你在这段体验中,是一个跟随者。这样的经历再多,也补不上知识和经验之间的鸿沟,更谈不上由体验带来的人生感悟。从而无法自动转换成底层的能改变你价值观人生观的东西的。相反的,在经历了过多的这种被设计的体验后,人会有不真实感,觉得没有什么经验是有价值的。
对于有过出国旅游团走马观花经历的读者,上面的文字不难理解。假期去了景点,拍照发朋友圈,买纪念品,按照亲友列好的单子购物。这样的体验不会让我们的假期成为年老后值得回味的记忆。而当今一些炮轰罗振宇的文,其实说的也就是这个。罗胖出品的东西真算得上精雕细琢,也不是完全没有干货的。但其互联网传播的本质就决定了其是一种设计好的被动体验。
而这和企业管理上的上下级分离有什么关系了。假设公司的上级决定公司要注重消费者的满意度。这样的一种要求,到了底层哪里,由于参与设计和制造的员工,根本就没有接触过真正使用产品消费者,他们的体验是被动的,是被设计的,这使得他们即使想做好工作,也只能去满足KPI中包含的那几个指标。正是分工带来的被动体验,使得他们无法完成上级提出的提高消费者满意度的目标,这从组织看起来是上信息在层级间的低效流动,而归根到底是每一个的问题。人的认知也是分层的,带给你内在激励的,都是一些比较深层的东西,比如理想,比如同情心等。若只是被动的体验,你就一直需要外在的激励才能有动力做一件事。
下面聊聊怎么办吧。就拿游戏来说,玩游戏究竟是被动的体验,还是主动的了?你的回答应该是这取决于你怎么玩,以及你玩的是怎样的游戏。比如你玩狼人杀,就是自由度高一些的游戏。我永远都忘不了那些和我一起通宵玩杀人的朋友。而回想起玩过的其他游戏,想到的也永远是那时和我一起玩的伙伴,而不是游戏本身。这就是将被动的体验转化成了主动的。其实不止是有社交元素的游戏,还记得我玩轩辕剑天之痕时听得歌,抄在本子上,还用在作文里的玉儿说的话。我还喜欢写和游戏有关的小文,例如为什么搞笑-从三国杀中搞笑的牌局说起和谈谈文明五这款游戏的感受。
同样的,要想让我们的旅游中不只有被动的体验,就要让我们从观察者的心态转换成参与者。这不是说你完全不做准备,走到那里算哪里。参与者要提前做功课,要去和当地人做深度的交流,比如要带上礼品,和当地人去交换,比如要录制带情节的视频,而不是摆剪刀手排队照相。参与者要求你能放下自己的身段和提前的假设,事后回忆时不止说自己当时做了什么,还要说自己为什么要这么做,想想这么做对我们日常的生活有什么启发。而企业中的轮岗,把一个部门的人交换到一个全新的部门里,这么做的目的也是要让相关的人获得第一手的体验。
原创不易,随喜赞赏
扩展阅读
王成2017-10-27 11:06:19
我是心理学的毕业生,有一点很好奇,梯度消失中的梯度目前是基于那种心理学的认知模型来开发的呢?我看到文中说到梯度的例子用的是基本运算→概率统计→批判性思维→总结与表达,看着有些含糊。我在本学科中所了解到的关于认知的梯度有:自上而下的加工和自下而上的加工这两种模型。
b(>_2017-10-26 22:45:36
从量子纠缠谈谈心灵的感应
Joy 蒋2017-12-01 02:10:57
所以有participatory decision making[呲牙] 也就是为什么每次出门旅行,我都是一手包办行程攻略 — 既丰富了自己的旅行体验,又满足自己的喜好,还赢得了万一吵架时的道德制高点[呲牙][呲牙][呲牙]
顾从云 Congyun2017-11-04 07:05:35
这就是艺术欣赏中的beholder’s share概念!不过我觉得导致浅层体验的并不是传播渠道本身的问题,而是信息接受者缺乏对自我信息认知过程的二阶反思,加之可以获得的信息总量的爆炸式增长所导致的。我们的认知目前还倾向于维持在一个低信息熵的状态。
作者
说的好,这个艺术中的概念我正在查资料。。
时运2017-10-29 13:02:35
只有一点粗浅的了解,试问,梯度消失的问题是不是一定程度上可以通过将数据量的规模加大来解决?那么反过来,人的体验可能也需要足够的被动体验来实现到主观体验的梯度跨越,玩的越多套路越深。。
驱逐舰 李荣伟2017-10-27 09:31:18
人才培养也是这样啊!
呆呆2017-10-27 08:09:29
好赞!深受启发[微笑]
羽花2017-10-27 08:03:35
铁哥写的文章越来越有本质感有层次感,但对普通阅读者来说“梯度”越来越大了。
胡飞2017-10-26 22:30:39
说得太好了!