助推有效吗?关于效果与可复现性的争论
2022年的元分析宣称助推有效,但重新审查与实地随机对照试验显示,其效果急剧缩小 — 在校正发表偏倚后甚至归于零。
柔性家长主义常被辩护为一种廉价而优雅的改善行为的方式。但它究竟在多大程度上有效——这个问题在2022年引发了一场激烈的科学争论。
Mertens的元分析:助推"有效"
Mertens等人(2022,PNAS)基于来自212篇论文的447个效应量(n≈215万)发现,选择架构存在显著效应:Cohen's d = 0.43——属于"小到中等"(PNAS)。看起来问题似乎已朝有利于助推的方向盖棺定论。
更正与被撤稿的数据
但很快,针对这项元分析发布了一份正式更正:样本中混入了一篇被撤稿论文的观测数据以及编码错误(PNAS Correction)。其证据基础远不如表面看上去那么坚实。
校正偏倚之后归零
Maier、Bartoš及合作者(2022,PNAS)采用稳健贝叶斯元分析(RoBMA)方法,揭示所有子领域都存在强烈的发表偏倚;在对其进行校正之后,助推有效性的证据几乎荡然无存(PNAS)。换言之,文献可能系统性地发表了"成功"而隐藏了"零结果"。
学界与助推团队之间的落差
独立的印证来自实地。DellaVigna和Linos(2022,Econometrica)基于两家美国最大助推团队的126项RCT(约2300万人)发现:学术出版物中的平均效应为8.7个百分点(较对照组+33%),而在真实项目中仅为1.4个百分点(+8%)(Econometrica)。落差约达六倍,其原因是选择性发表和学术研究的低功效。
"一刀切"的迷思
效应的离散度极大(在元分析中Cohen's d从−0.69到3.08)。这使"通用助推"的想法受到质疑:在某个国家和某个群体中奏效的做法,在另一处可能无效,甚至有害。
证据基础还剩下什么
这场争论具有方法论性质且尚未结束:Mertens的作者们对批评作了回应。审慎的结论不是说助推毫无用处,而是说其效应比早期那波热情所许诺的更为温和、更依赖情境。这不是反对讨论柔性措施的论据,而是反对"一刀切"式概括的论据。
摘录与日期
- 01к разделу «Разрыв академии и надж-юнитов»
Наджи в поле против публикаций
DellaVigna и Linos сообщают, что средний эффект наджа в академических журналах составляет около 8,7 процентного пункта, тогда как в программах реальных надж-юнитов — около 1,4 процентного пункта; разрыв объясняется публикационным смещением и низкой мощностью, а не качеством внедрения.