作者：Feitong Yang，Johns Hopkins University認(rèn)知心理學(xué)在讀博士

首發(fā)于作者的知乎專欄：https://zhuanlan.zhihu.com/p/21575150

最近《美國國家學(xué)院院刊 (PNAS)》發(fā)表了一篇關(guān)于功能磁共振成像(fMRI)的數(shù)據(jù)分析的批評(píng)文章。結(jié)果這篇文章一石激起千層浪，引來學(xué)界內(nèi)外對(duì)于功能磁共振成像的爭吵，在局部地區(qū)甚至升級(jí)成了鬧劇。我個(gè)人認(rèn)為，對(duì)于一篇引起爭議的文章，如果只讀了標(biāo)題、摘要、作者總結(jié)和媒體報(bào)告，相當(dāng)于這個(gè)人根本沒讀這篇文章，而他/她在討論的時(shí)候應(yīng)該閉嘴——或者至少清楚自己參與討論的時(shí)候，不是在討論這篇文章，而是在根據(jù)自己已有的知識(shí)，經(jīng)驗(yàn)，和對(duì)于文章的臆想來表達(dá)自己的觀點(diǎn)。為了防止自己陷入這種錯(cuò)誤，我于是也就去好好拜讀了一下這篇所謂『質(zhì)疑15年神經(jīng)科學(xué)』研究的大作：Eklund, Nichols & Knutsson (2016) 認(rèn)真研究了fMRI數(shù)據(jù)分析中多重檢驗(yàn)校正不到位或者不正確所導(dǎo)致的統(tǒng)計(jì)顯著虛報(bào)率很高的問題。

他們使用了常用的fMRI數(shù)據(jù)分析工具，處理了一組大樣本(近400個(gè)被試）大腦靜息態(tài)數(shù)據(jù)。由于人在靜息態(tài)數(shù)據(jù)掃描時(shí)不進(jìn)行任何認(rèn)知任務(wù)，所以把這組數(shù)據(jù)放到一個(gè)帶有認(rèn)知任務(wù)的實(shí)驗(yàn)設(shè)計(jì)中，數(shù)據(jù)分析不應(yīng)該給出統(tǒng)計(jì)顯著的結(jié)果。然而作者發(fā)現(xiàn)用傳統(tǒng)的數(shù)據(jù)分析工具，使用默認(rèn)值進(jìn)行數(shù)據(jù)處理，會(huì)導(dǎo)致非常高的虛報(bào)概率(false alarm rate)——也就是說，人類大腦本身并沒進(jìn)行認(rèn)知加工，但是數(shù)據(jù)分析告訴我們?nèi)四X是在進(jìn)行認(rèn)知加工的。這種基于數(shù)據(jù)的『無中生有』的推論，如果概率很高，就暗示我們之前得到的實(shí)驗(yàn)研究結(jié)果也可能是在『無中生有』罷了，并不是真正了解了大腦的工作方式。作者進(jìn)一步探究了為什么不假思索地使用這些常見的分析工具會(huì)導(dǎo)致如此高的虛報(bào)概率：他們發(fā)現(xiàn)原來是統(tǒng)計(jì)分析的步驟中，有一些統(tǒng)計(jì)假設(shè)不能得到滿足。

截止到這里，這篇文章都是好文章，非常值得任何一個(gè)進(jìn)行fMRI研究的人閱讀、學(xué)習(xí)和自省。但是這篇文章做完這項(xiàng)研究之后，就開啟了地圖炮：『從PubMed上搜索發(fā)現(xiàn)fMRI的文章有40000篇左右，我們這個(gè)分析發(fā)現(xiàn)的錯(cuò)誤意味著這40000篇文章都有問題�！痪o隨其后，媒體加入，擴(kuò)大了地圖炮，從『fMRI研究』一步跳到了『神經(jīng)科學(xué)研究』：最新研究表明過去15年神經(jīng)科學(xué)研究如空中樓閣，或?qū)⑷�部失效。�?dāng)然，擴(kuò)大地圖炮的范圍還不夠，還要濃縮炮彈，從一個(gè)重要的統(tǒng)計(jì)問題的討論，變成了『一個(gè)程序bug』質(zhì)疑過去15年神經(jīng)科學(xué)研究。大概大家都喜歡這種四兩撥千斤的感覺，特別想用最小的差錯(cuò)，來動(dòng)搖最大的問題，如果有機(jī)會(huì)，恨不得一個(gè)字符錯(cuò)誤毀掉了100年科學(xué)研究。

不說媒體如何夸大其詞，這篇文章的重要性（Significance）部分本身就寫得非常自負(fù)，的確無法讓人產(chǎn)生好感：從PubMed上搜索發(fā)現(xiàn)40000篇fMRI文獻(xiàn)，然后攻擊說『該研究結(jié)果質(zhì)疑了40000fMRI研究的有效性』。話說你把這40000篇文章的方法部分都讀過一遍了嗎，你就該說他們都做錯(cuò)了？這種感覺就像：一個(gè)人發(fā)現(xiàn)了天鵝可以是黑色的，他回去上網(wǎng)搜索『天鵝是什么顏色』，結(jié)果發(fā)現(xiàn)40000個(gè)人說天鵝是白色的，于是他都不去問這40000個(gè)人，就直接說『這40000