发布时间: 2020-05-04 11:44
斯坦福大学应该为COVID-19的研究道歉吗?
最近的一项研究出了什么问题,他们应该知道得更清楚些吗?
斯坦福大学的一个研究小组最近发布了一份关于COVID-19病例的手稿预印本,这是错误的。根据他们的研究结果,他们认为已经感染病毒的人比我们意识到的要多得多。结果应该是,也许它并没有像我们想象的那样经常引起症状,或者也许我们会比我们想象的更快、更少痛苦地获得“群体免疫”。
哥伦比亚大学的统计学家安德鲁盖尔曼(Andrew Gelman)在最近的一篇博文中谈到了分析中存在的问题,以及为什么这些问题会使论文的结论无效。(随后的报道揭露了其他问题,例如招募参与者的方式和在招募过程中做出的虚假承诺。)
不过,除了说这篇论文有缺陷之外,盖尔曼还写道,这篇论文的作者“应该向我们大家道歉”。我们浪费了时间和精力来讨论这篇论文,它的主要卖点是一些基本上是统计错误的产物的数字。”盖尔曼是一位总体上对糟糕的统计数据持批评态度的人,他也通过几项著名的心理学研究指出了根本的缺陷。作为一个对科学改革感兴趣的人,我认为值得一问:这些研究人员真的应该向我们道歉吗?
首先,批评。它们是技术统计点,但我将概述三个关键点,以便您能得到要点。
所有的疾病检测都不到100%的准确率,所以你需要在你的统计数据中说明这些。例如,有时你会得到一个“假阳性”,检测结果显示“你得了这种病”,但实际上你没有。根据先前研究中确定的假阳性率,你会期望高达10%的人检测出COVID-19阳性,即使他们没有。在斯坦福大学的研究中,这意味着即使没有人做过诊断,你也会有多达333个诊断。他们在研究中只看到50个诊断。所以基本上他们看到的所有病例都可能是假阳性,你也可以很容易地写下研究报告,说“在我们整个研究中可能没有真正的COVID-19病例”,这与他们的结论相反。
当你收集一个样本时,你通常得不到每一类人的正确比例。例如,他们的样本中只有5%是65岁以上的人,但是在他们进行研究的圣克拉拉县,有13%的人是65岁以上的人。正如盖尔曼所写,这是一个“标准问题”,需要对其进行统计调整。斯坦福大学的研究小组没有根据年龄进行调整,他们也没有以明确的方式分享调整的细节。要想在更广阔的世界上宣称有多少人拥有它,我们需要考虑到年龄。这对于COVID-19尤其重要,它可能会更多地感染老年人。
这项研究也与谁最终进入了这项研究有关:这项研究被宣传为一种获得免费测试的方式(相关的是,一则广告谎称服用它可以告诉你回去工作是否安全)。这会影响谁参与。我的直觉是,它会吸引那些有症状或暴露的人,但斯坦福大学的人指出,它也可能吸引那些健康到可以去测试现场的人。
盖尔曼的观点是,他们说,他们还收集了人们正在经历的其他疾病和症状的信息,他们可以利用这些信息做一些统计调整,甚至可以更好地描述正在寻找测试的人的类型。所以他们可能是从那些比普通人群更可能携带COVID-19的人群中进行检测,这可能会推翻他们的结论。
这些问题值得讨论,因为它们强调了正确地进行这样的研究需要多少统计学的基础技术知识。做好科学工作,严格要求许多部分相互协调。斯坦福大学的研究小组对危机的反应非常迅速,收集了大量关于这种新病毒的数据,并在相对较短的时间内写出了结果。这是好事——我们希望科学家们赶紧去收集社会面临的新问题的数据。完成这项研究所需的协调工作令人印象深刻,即使他们没有足够的数据来得出正确的最终结论。
但斯坦福大学的团队也很马虎。他们急于公布结果,但在经过彻底审查之前就公布了。这个问题与学术研究的动机有关。出版一份有华而不实的成果的出版物,可以建立研究人员及其机构的声誉。研究人员要想在斯坦福找到并保住一份工作,唯一的办法就是不断做出大胆的、引人注目的发现。据报道,在一次非正式的讨论中,一位斯坦福大学的院长曾说过,“斯坦福不会为增量研究提供终身职位”——这意味着,如果你在斯坦福从事的是一项建立在前人研究基础上的、细致而缓慢的科学研究,你就不会有工作保障。正如心理学家Simine Vazire所说:“如果你告诉教授们,他们必须专注于开创性的研究,他们可能会打破除新领域之外的许多其他东西。”
这篇文章的一个积极的方面是,作者以预印本的形式发表了他们的研究。预印本不是同行评议的期刊文章,它们是其他科学家在提交或在期刊上发表最终“官方”版本之前可以阅读和评论的论文草稿。这意味着公众对手稿的评论可能会阻止它的结论被当作是真实的,并被用来制定政策。但如果这只是一个草稿,盖尔曼不应该对这些人更宽容一点,因为他们从来没有说过这是最后的决定吗?在草稿中出现错误不是很好吗?
通常,我会说你应该给那些在早期草稿中出错的人一张通行证。但是,考虑到这项研究正在被数以百计(也许是数以千计)的人立即阅读,以试图更好地理解该如何处理COVID-19,它似乎确实令人不安。对于敏感话题,我希望研究人员更加小心。正如格尔曼所指出的,斯坦福大学有非常优秀的统计学家,他们本可以要求他们阅读一份草案。格尔曼还指出,这是斯坦福大学研究人员在COVID-19大流行期间所做的一系列研究中的一个,这些研究要么做得很差,要么做出了误导性的陈述,每一个都会对该机构的声誉造成轻微的损害。
那么研究人员应该道歉吗?也许吧。但是,对于阅读科学研究的公众来说,更大的教训应该是考虑到非常著名的大学的激励机制。斯坦福大学发表在顶级科学期刊上的研究更有可能是投机性的,也更有可能是令人眼花缭乱的,而不是在中等院校和中等期刊上发表的研究,因为斯坦福大学只可能聘用和提拔那些优先从事这类工作的人。也许下一次,我们应该关注那些不那么令人惊讶的、改变世界的主张,并相信那些谦逊地提出的更温和的主张。
Alexander Danvers, Ph.D., a Postdoctoral Fellow at University of Arizona, researches emotions and social interactions.
Psychology today