哈喽,大家好,今天小墨这篇评论,主要来分析科学家也会被偏见绑架,数据证实预期时反而最该警惕。
同一张图,不同的人看出不同结论
有个实验挺有意思。研究人员给171个计算机专业的大学生看了同一张数据图,图上是关于财富和幸福值关系的数据点。在看图之前,他们先问这些学生预期两者是什么关系。结果70%的人说应该是正相关,剩下30%说是负相关。
有意思的地方来了。那些预期正相关的学生,得出正相关结论的比例,是预期负相关学生的两倍多。同一张图,预期不同,看出来的东西就不一样。这张图实际上暗藏玄机,总体看是负相关,分年龄组看又是正相关,典型的辛普森悖论。问题是大部分人压根没深究这个矛盾,直接按自己预期给出了答案。
这事不只发生在学生身上。1919年爱丁顿去验证爱因斯坦的相对论预言,他带回来的数据其实既能支持爱因斯坦,也能支持牛顿。爱丁顿相信爱因斯坦,所以他发表的论文就说数据支持相对论。
73个团队分析同一组数据,结果天差地别
去年有个研究更夸张。73个专业团队拿到同一组数据,去验证同一个假设。结果各个团队给出的结论差异大到离谱。有的说显著支持,有的说完全不支持,用的明明是一模一样的原始数据。
研究人员最后得出个结论,研究设计的可变性构成了一个庞大的宇宙,这个宇宙通常隐藏在视野之外。说人话就是,数据怎么处理、用什么方法分析,这些选择空间太大了,不同的人做出来的东西完全不一样。
另一个功能磁共振的研究也类似。70个独立团队分析同样的脑成像数据,检验9个假设。没有任何两个团队用的分析流程是一样的,好几个团队基于同一组数据,报告了完全矛盾的统计显著结果。
这些研究说明一个事,数据不会自己说话,得靠人去解释。解释的时候,人的偏见就进来了。你相信什么,你就更容易从数据里看出什么。
发现矛盾才是好事的开始
去年底《自然》上发表了个关于动物胚胎发育的研究。研究团队比较了十个不同门类动物的基因表达,本来预期会看到发育中期的共有模式,结果发现完全相反。不同门类之间,反倒是早期和晚期更相似,中期差异最大。
这个结果跟之前同一个门内部的研究矛盾。研究团队没有硬解释,而是退回去重新思考。最后他们意识到,这两种矛盾的模式其实对应不同的演化时间尺度。门内部看是沙漏形状,门之间看是反沙漏形状。这个矛盾反倒帮他们找到了动物门类的分子定义。
这个案例说明,遇到矛盾不是坏事。问题是很多研究者看到矛盾就绕开了,或者干脆忽略掉不符合预期的那部分数据。心理学把这种倾向叫"确认偏误",就是人天生喜欢找支持自己观点的证据,对反对的证据视而不见。
中世纪那些有害的医疗方法能延续几百年,就是因为只有康复的病人被记住了,死掉的就当没看见。现在很多替代医学也是这个路数,只宣传有效的案例,失败的案例从来不提。
同行评审也逃不开偏见
学术论文的同行评审,按说应该是客观公正的。实际情况是,当研究结果跟评审者自己的假设不符时,这篇文章会遭受更严苛的审查。有研究专门统计过这个现象,评审者对挑战自己观点的论文,要求的证据标准明显更高。
甚至还有科学家把对立论文当作支持自己观点的证据来引用,完全曲解了原文的意思。这种事在学术圈不是个案,是个普遍现象。
临床试验为什么能避开这些问题?因为它们有一整套严格的流程。研究方案必须预先注册,数据设盲,分析方法提前规定好,不能事后调整。这些机制专门用来对抗人的偏见。
基础研究就不一样了。很多时候开始分析数据之前,研究者自己也不知道会得到什么结果。高通量数据集尤其如此,里面包含的信息常常超出预期。这种情况下,如果一开始就有明确假设,反倒可能错过意外的发现。
总结
科学的客观性不是天然存在的,是靠机制和方法保障出来的。承认科学家会有偏见,主动去找数据里的矛盾,才能真正接近真相。遇到矛盾不是失败的信号,是进步的开始。