敏感与敏锐的差异,从学习率谈起

心思细腻者,往往会情绪波动很大,而这其实对身心健康无益。敏感的人容易多想,活得很心累。青春期的少年,往往会因为一些小事而炸毛,但成年人要能做到不因一点小事而改变航向。
用训练神经网络,来类比人面对外界环境时是否容易被影响,就需要引入学习率这一概念。做为深度学习中重要的超参数,学习率越大,通过损失函数,经由反向传播调整梯度的权重越大。 /pic/1_A8Gql3wHuA2VUQ4lwlqFeQib3hnhxw.jpg 对于不懂深度学习训练过程的,可以将其理解为一个人面对外界批评时的脸皮有多厚,脸皮太厚,对应的是上图的蓝线,需要别人反复强调才能学会。脸皮太薄,对应的是图中的绿线,你最初会因为对领导的响应很快,而获得领导的欢心,但会由于只做杂事,很快进入平台期,成就有限。而黄色对应的,可以看成是听风就是雨,总是误解领导意思的人,这种人的存在会把团队搞的鸡犬不宁。而真正能够取得成功的职场人,对应的是图中的红线。
如果不用职场来类比,而是用个人的性格与从人际关系中获得的幸福感来对应上图中的四条线。黄色的线是心思过于多疑敏感者,会因为他人的一个眼神而整夜睡不着觉;蓝色是神经粗大的后知后觉者;绿色是对伴侣百依百顺,完全没有自主界限者,而红色是那些能定好人与人之间的边界,从而能在人际互动中获得最深刻愉悦的少数幸运者。
在深度学习的训练过程中,自适应的优化算法,会自动调整学习率,最初时相对大一些,之后逐渐降低。这就如同青年人在童年时,百分百的模仿父母的所作所为;之后的学生阶段,会盲目选择的效仿同学中最酷的那个;而等到进入职场,有了成熟的价值观,需要做的是见贤思齐,批判性地去和同事学习。
学习率随着年龄增长而降低,也可以对应到对自身的看法上。对于青少年,不要总是批评,是怕打击她们的自信心,而成年后,则要能够不因为某一人的影响或评价,而轻易改变对自身价值的认知,最好能做到宠辱不惊。 /pic/2_85pxEKowv8jdjAENEWkka1LwkLLRrQ.jpg 渡边淳一提出的“钝感力”,或者古人所说的”难得糊涂“,就是更低的学习率,不要像左图所示过度敏感者,由于对变化反应过大,无法找到最优的那个点,而要一点点的根据他人的反馈改进自身(右图)。
然而学习率并不总是随着年龄越低越好的,如果你发现日子如白水一样过去,平静的没有一丝反馈,那就说明你已处在平台期,而这十有八九是因为如今已走到了一个局部最优值,若此时还想着日拱一卒式的渐进式改变,就会注定难以找到全局最优,这时变得更敏感一些,才有可能更上一层楼。
做为一个太过敏感者,这些道理又何尝不知,借助深度学习的训练过程类比,不过是让自己的更确信一些。但是个性并不那么容易改变,在职场时,还可以通过理性的判断,来进行调整,但涉及到情感的时候,太过敏感的性格,确实会害人害己。曾经很喜欢:眼因流多泪水而愈益清明,心因饱经忧患而愈益温厚。但如今发现,如果只是由于自己过于敏感,而因琐事流泪,泪水再多,也不过是为原地踏步.温厚的心,是由于眼里能够看到人间形形色色的辛苦,不局限于自身拿点小九九。
然而除了敏感(学习率),学习的成效还取决于信噪比,对应与深度学习,就是损失函数的构建是否能应对数据中的噪音。侦探小说中,能够因小见大,从小事推出全局者,因为他人言行的细节,就看出其人品和才智的,才算是心思敏锐。若是以为敏感者就会自然的具有上述素质,不过是想当然。敏感反映的是如何应对他人的评价,而敏锐针对的是如何依据已有的模式,去匹配从而更早的得出对他人的评价,前者随时间场景,存在一个最优值,而后者则是越多越好。
敏锐者,在遇到新数据时,能够通过恰当的核函数,将观察映射到更高的维度,从而发现数据中隐藏的模式;而当需要总览全局时,又能够通过数据降维,抽取出关键的区分点,不会只见树木不见森林。而当数据中本身就包含噪音时,能够通过增加正则项,不让数据中的噪音干扰优化函数;而当外界的数据中,正面和负面的信息比例不均时,则会通过改变训练数据的权重,更多的去关注那些罕见类型的信息,从而不迷失自己。
敏锐者,还能给不仅仅只关注自己见到的那些数据,而更关心本该存在但缺少的数据。郭嘉评价袁绍妇人之仁,说他见人饥饿,恤念之情形之于表,但对于看不见的,则不管不问。只根据观察到的数据去找模式,是关注的相关性;而心里有了对数据为何会出现缺失的有向图因果模型,才能判断数据中缺失是不是证实了这一模型,从而找出能够带来有的放矢式改变的因果性,从而带来全局的改变。
所谓生于忧患,不代表忧患了就会变得更强,只有因为忧患而变得更敏锐可以;而死于安乐,则是要提醒你不要因为身处顺境,就让自己的学习率变得过低而固步自封,或者储备太多,学习率太高(富贵病)而让自己的情绪和自我认知忽高忽低。
更多阅读从最优学习率到最优批评率
劳动节-聊聊该如何高效的工作和学习

吸引子2021-06-03 08:25:18

很好的文章,没有在具体场景深刻体会,加上对机器学习的术的深入研究,很难讲出这些道

XD℡32021-06-04 08:58:10

有用,点赞

wlz2021-06-03 16:47:45

这样的类比很容易理解!

WHJ2021-06-03 13:54:30

ML思维观察社会

呼吸No12021-06-03 12:50:14

Talk is Cheap2021-06-03 12:21:40

经典论述[抱拳]

凯2021-06-03 08:09:39