統計的陷阱

統計的陷阱
知識通訊評論第46期

對於如何分析原始資料的結果，專家常各執一詞，這也使得統計數字另有新意。

兩名西班牙研究員檢查二○○四年刊登在《英國醫學期刊》 (British Medical Journal, BMJ) 與《自然》雜誌上面，科學論文裡面的統計數據，其研究結果引發許多頭條故事，也使得雜誌編輯深自反省。

《經濟學人》的頭條寫道「隨便的統計數據令科學蒙羞」；《新科學人》則聲稱「頂尖期刊論文出現統計瑕疵」。二○○一年所有刊登在《自然》雜誌的論文，有超過三分之一含有統計錯誤，此種揭發已促使《自然》雜誌引進檢查論文品質的新方法。至於有四分之一的論文發現含有瑕疵的《英國醫學期刊》，其編輯已撰寫一篇社論，討論可能的解決方法。

目前看來，又有一篇論文手稿可以加入堆疊如山的瑕疵論文之列，那就是這兩位西班牙研究員的論文。根據一份於今年九月初發表的分析指出，這篇論文的兩項結論裡，其中一項是基於不適當的統計數據得出，因此缺乏正當性。這篇新論文的結論直率地指出，理應正確使用統計檢定法才是。

受到議論的這項統計檢定法，是赫羅納大學的生態學家賈西亞伯索 (Emili Garcia-Berthou) 與艾卡拉茲 (Carles Alcaraz) ，用來評估進位法的使用情形。假如進位正確，一個有三四個有效位數的數字，最後一位數是零到九任何一個數字的機會應該均等；賈西亞伯索與艾卡拉茲發現，四跟九出現的頻率比預期略低，也許是因為研究者不知不覺中，喜歡把四進位到五，九進位到零。

但是美國紐約州雪城大學的物理學家簡孟輝指出，賈西亞伯索與艾卡拉茲使用的是柯莫果洛夫–斯密爾諾夫檢定法 (Kolmogorov-Smirnov test) ，此法用來評估兩組數字的機率分配是否不同；簡孟輝說這樣做是錯誤的，因為此檢定法假設受檢定的機率分配是連續性的，但是對於數字的最後一位數，其機率分配卻是離散的。他表示使用較為適當的卡方檢定法 (chi-squared test) 所做的分析，並未顯示出有進位錯誤的證據。

《自然》雜誌接洽的兩位獨立統計學家表示，簡孟輝的分析似乎正確；另外有一篇張貼在《自然》雜誌網站上的仲裁者報告指出，使用另一套統計軟體進行分析的結果，證實了簡孟輝的結論。不過賈西亞伯索堅稱他所用的檢定法很適當，並表示會在一封寫給《自然》雜誌的信件裡解釋理由。

其實這段爭論可被單純當作一段有趣的諷刺來看待，特別是因為簡孟輝的分析並未影響賈西亞伯索與艾卡拉茲的第二項發現，而這項發現可能更為重要：《自然》跟《英國醫學期刊》論文裡，有許多 P 值統計量 (P values) 計算錯誤。不過這段插曲的確說明了評估統計檢定法是否有妥善運用的困難，尤其是統計訓練紮實的科學家並不總是意見一致的。

身為《內科醫學年鑑》編輯的醫學統計學家古德曼 (Steve Goodman) 表示，假如一本期刊沒有足夠的專業，這真的會是個大問題。他說他很少見到完全沒有瑕疵的論文，大多數的文獻都有些問題。

「我很少見到完全沒有瑕疵的論文，大多數的文獻都有些問題。」 —- 古德曼

舉例來說，有篇今年七月發表的研究，主題是檢驗論文摘要裡使用 P 值統計量的情況；該篇論文的結論是：摘要裡通常都有重要的結果，但一般來說別相信它們。