关于“小团队更容易出颠覆创新”论文的四点评论
集智科学家吴令飞Nature发文:大团队渐进发展,小团队颠覆式创新 这篇文章介绍了用大数据做的Science of science的文章,关于这篇最近在我的朋友圈刷屏的文章,忍不住写几句点评,建议没有看过该研究的先看这篇,不然你不会明白我在说什么。
1)用网络结构的来区分一项研究是否颠覆性的方法,是可以普遍推广的。
这里介绍了颠覆指数的三种极端情况对应的引用网络不同,以及两篇相同引用量的文章,由于引用网结构的不同,(绿色和棕色代表不同的类型节点)而被分为了延伸类的突破类。
类似的方法,是可以用在对网站的排名上的。Page Rank算法是通过在网络上的迭代,实时更新网站排名的。如果在网页之间,用之前一个时刻的网络链接关系截面,来计算每个网页的D,那些D值比较高的网页,会不会是更加权威的信息来源(比如辟谣贴,官方的新闻发布)?或者是观点更极端的帖子(容易成为别人之后争论的靶子)?我猜测俩者都会有的,所占的比例取决于网页的主题,以及观察网页的类型及本身的写作风格。
令飞兄的研究中,D值的计算,只关注了不同类型的引用数量,而没有考虑引用文章的质量。如果根据发表期刊的影响因子或者引用数量对D的计算公式中每个引用以权重,我预估引用突破式研究的文章更容易是高分文章,而引用延展类文章的高分文章的比例会低一些,原因是突破式的研究开启了一个新领域,在处女地上更容易出成果;而扩展式的研究,是精耕细作,需要做的比前人明显好,才能发高分文。
D值的计算,也没有考虑二阶效应,就是A文引用了一篇突破式研究,B文又引用了A文,但是B文没有引用突破式研究引用的文献。这样的二阶效应,在研究论文/专利/github中,这样的二阶效应并不具有显著的信息量,但对于更加灵活,网络稠密程度也更大的网页链接的分析,预估会很关键的。
2)没有考虑幸存者效应
小团队的确更容易出突破性的成果,但这是发出去的文章,但对于那些根本没有发出去的文了?或者本来是一俩个人单干的博士,由于缺少结果,最后成果被合并到了一篇大文中,这样的情况也没有考虑。Absence of evidence is not evidence of absence 。诚然,对于没有发表的文章,是无法研究的,投稿/专利被拒绝的数据,难以拿到,但对于github来说,这个数据是可以获得的。是不是大多数单打独斗的软件项目都太监了,能坚持下来的,都是足够有创新性的,从而导致了这样的结果。
另外,要做扩展性的研究,也就是意味着需要更多的资源,而这往往已经有大的实验室占坑了,而这也会造成大的实验室习惯性的选择扩展性研究,做自己熟悉的细分行业。很有可能的故事是一个老板一俩个人写了一篇突破性的论文,拿到了一大笔funding,之后就开始做起了扩展性研究。论文摘要中写道不管是突破性的还是扩展性的研究,对于一个和谐的科研环境,都是必不可少的,因此研究团队的大小要多样化。这一点很值得强调,看到“小团队更容易出颠覆创新”这样的take home message,读者会忘记团队大小需要多样才是作者的本意,也容易忽略小团队的优势在于快速试错,沉没成本小。
3)突破性的研究需要依赖背景知识的进步
一项研究,是不是突破性的,不一定当下就能够确认。如果观测技术不成熟,那很多perspective或纯理论的文,就不会有太多引用,比如孟德尔的豌豆,那怎么都算突破性的,却沉睡了很久,还有量子力学中的ERP,本来是思想实验,不被主流的哥本哈根解释待见,直到贝尔发明了怎么用实验验证量子纠缠,才成为突破性的研究。这意味着越靠近当下的研究,成为突破性的机会越低,他们中有一些,预期几十年后,会成为开创性的研究,而当下却被归为了扩展性的。
而正如该文摘要写的,当下的研究团队,越来越大了,这和越接近当下的研究,越来越难以成为突破性结合起来,就是一个需要进行统计校正的因素,虽然,我们无法预期未来有多少论文会由扩展性跃迁成突破性的,但如果不排除这个共同影响因素,那该文中的结果部分就是随着团队增大而自然会产生的,不能完全反映了团队大小对研究性质的影响。
即使无法给予统计上的校正,也可以按照时间分段(每5年),给出数据的meta data,例如论文网络的平均入度,出度及其分布,不同类型的论文的度数的分布。对于团队大小和D值分布之间,是可以用统计检验计算显著性的,并通过多重校正,去量化的对比那些学科/年份区间中,团队的大小对文章颠覆程度的影响的显著性差异的。另一个我思考的是,能不能通过热力学统计的复杂网络,按照真实网络的宏观参数,当作约束条件,通过最大熵原理,生成一个Null model,来模拟的看如果没有团队大小影响节点颠覆程度时,引用网络的宏观参数(meta data,例如出入度的分布,cluster的程度等)会和真实的引用网络有什么区别?
4)没有考虑团队多样性对颠覆式文章的影响
虽然普遍的常识是团队多样性有利于创新,但我猜测,对于颠覆式的文章,团队的多样性并不是加分项。突破式创新的失败概率更高,需要的团队凝聚力也越高,俩个不同种族的人组成的团队,不一定比俩个相同种族的团队,更容易产生突破性的文章。令飞也许会说无法获知那么多作者的种族,性别等信息。但用RNN训练一个分类器,对男性/女性及不同种族的姓名进行分类,即使有少数数据出错,统计上的结果也是可靠的。对于追述式的研究,都可以使用AI的预测器,来去填充缺失的数据。
说起AI,如今有了评估文章突破程度的D值,将其当成待回归的特征,是可以拿论文的文本做输入,来做有监督学习的。可以从这里看到论文中的那些关键词,或者句式,和文章是否有突破性有关。推广来看,在网络中出的位置,网络中节点的特征,与该节点本身的特征,都可以通过有监督学习建立联系。而根据讲文章分为突破性和扩展性,也可以来评价对论文做向量化之后聚类的效果,看无监督学习的聚类能不能反映出文章的颠覆性。不过我预期这个很难的,训练数据又少,比主题模型难得多,只是脑洞一下,预期网页间的链接关系,有希望做出来。
总结:
我很欣赏令飞的这篇Nature文章,其中做了很多的分析,值得细细的读,看懂其中的每一章图,但抱着批判性阅读的一贯态度,还是鸡蛋里挑骨头,给出了4条点评:
1)没有考虑那些悲剧的项目(幸存者偏差)
2)没有考虑突破性研究需要较长时间才会显现(混杂因素)
3)没有考虑研究者的背景的多样性对文章突破性的影响
4)网络结构中组合出有意义的特征,这类的特征可以用在对网页链接的分析上,包括搜索引擎的优化。
吸引子2019-02-19 15:32:46
大团队拆解成小团队,还有真正有独立思考的精神,不被现有形式和观点同化,不强势,不集权,不断自我迭代,批判性吸纳知识,颠覆创新才能蒸蒸日上!赞 1