再現性危機:人工智慧的下一場冰河期?
編譯|陳明佑
你或許聽過,人工智慧的發展曾經歷兩次嚴冬。如今,人工智慧研究似乎已進入穩健且快速成長的階段,以致我們每隔幾個月就能在新聞媒體上看到重大突破。例如2016年橫空出世,陸續擊敗不只一位國際級頂尖棋手的圍棋程式Alpha Go、2017年登場的寫詩機器人微軟小冰(甚至出版了個人詩集!),乃至於後來誕生的Alpha Go終極版本--不需預先寫入任何圍棋相關知識的Alpha Go Zero[1]。
然而,你是否知道,當今看似疾速發展的人工智慧研究,其實隱伏著不小的危機?
●科學上的再現性危機
任何宣稱擁有重大突破的研究,一般來說,如果其結果不能被其它研究者以相同的操作再現,這樣的研究結果是可以被質疑的。那麼,如果一個研究領域中,因為系統性的原因(如該領域的實驗特性、該領域的研究者習性等等)使得大部份研究難以再現,這個研究領域的知識大廈是不是就顯得岌岌可危呢?
科學上正是以再現性危機(Reproducibility Crisis)或再現危機(Replication Crisis)來指稱這種情況。近十年來,不少研究領域都曾遭遇此類問題,如心理學研究[2]由於實驗涉及大量觀察、紀錄受測者的心理反應,以至於重現某一實驗的成本極高,不容易進行,又或因為涉及受試者主觀反應,有時也會出現重複了實驗卻未得到相似結果的情況。另外,研究者的不誠實也可能是造成再現危機的另一成因,如2011年社會心理學界便曾出現學術詐欺的案例--提爾堡大學的明星學者Diederik Stapel被指出長期造假實驗數據,而其論文竟能登上主流國際期刊。後續更有期刊文章指出,許多心理學研究者承認使用過不恰當的手段,如篩選原始數據,引發了學界更大的波瀾[3]。這些都使得再現性危機成為科學界裡一個重要的議題。
●你看不見的資料
現在,讓我們回到人工智慧領域。不同於心理學研究的情形,人工智慧研究之成果,多半呈現為一個可操作的新演算法或程式架構,形式上經常是一份程式碼。那麼,或許有人會問,這樣一來,我們不是只需要複製貼上並執行代碼,就能確認實驗結果是不是可靠了嗎?然而近幾年越來越多人工智慧研究者指出,在人工智慧論文鉅量湧現的此時,有許多論文並未公開原始碼,以至於重現它們宣稱的結果變得異常困難。
而這就引發了人工智慧領域的「再現性危機」。
本月初的美國人工智能協會會議(AAAI-2018)針對人工智慧領域的再現性問題展開一系列討論,挪威大學的Odd Erik Grundeson在報告中指出:過去幾年發表在兩大頂尖研討會上的人工智慧論文,僅有三成公開用以測試演算法表現的數據資料,少於一成願意公開原始碼[4]。
何以會有這些看不見的資料?可能有以下原因[5]:一種是原始碼屬於商業公司所擁有;一種是研究者在學術競爭上為了領先同行而不願意公開原始碼。或者,原始碼無法公開,因為它參考的原始碼也尚未公開。最後,更有研究者宣稱程式碼離奇消失。資料不透明的結果就是,人工智慧領域儼然成為一個生產祕密的產業,諸多演算法都被藏匿至可再現性的明亮原野之外,沒入幽暗中。
●解密原始碼
於是我們不免要問,如何重新照亮這些人工智慧領域看不見的部份呢?為了檢驗先前研究中所使用的演算法,我們往往需設法重新生產一份程式碼,但許多程式碼卻尚未公開。如何解密原始碼,正是人工智慧領域現今的困境。
幸好,前述的AAAI會議嘗試提出幾個未來人工智慧研究可行的方向:
(一)標準化:由非營利公司Open AI創造的機器學習測試框架Gym(一個集合諸多遊戲的程式環境,主要可用於測試人工智慧程式的表現,超級馬力歐也是其中一個遊戲),提供了一種標準化人工智慧測試的方法。
(二)神經網路工具:IBM團隊為了解決此問題,則在會議中提出了一個神經網路工具,能夠自動處理人工智慧研究論文,並從圖表中重建論文中所使用的神經網路。IBM也預計未來會將成果公開放上網路。
(三)Open ML:Open ML則是一個公開的網站,提供大量的公開數據,並致力於「建立一個公開、井然有序的機器學習線上生態系[6]」,協助研究者更好地分析資料,讓他們能產出更透明的研究成果。
至於這些方案是否足以產生衝破困境的力量,有待我們未來觀察。
相似的危機,心理學領域以提倡重現的風氣回應[7]。受此啟發而於2015年誕生的是人工智慧領域的ReScience期刊,邀請研究者們嘗試重現其它人的論文內容。不過,人工智慧研究者似乎多半仍不願指出同行錯誤,特別是年輕研究者往往不願有意攻擊較資深者。因此儘管有此期刊的存在,人工智慧領域內檢驗再現性的動能仍稍嫌不足。
因此,縱然AAAI會議上提出許多解方,或許仍如AAAI會議上的Grunderson認為,必須改變研究社群的文化--要讓研究者不再將批判性檢視他人研究視作羞恥,而是值得驕傲的誠實。畢竟,研究者們願意誠實面對自己的研究結果,才有助於研究社群的互信能夠維持。倘若失去了研究者間的互信,研究領域如何能不進入寒冬?
參考資料:
[1] Alpha Go Zero 原論文:Mastering the Game of Go without Human Knowledge(2017), David Silver et al., Nature, 2017
[2] 關於心理學界的再現性危機可參考:〈270科學家合作,僅能重複36%心理學實驗結果〉
[3] 心理學界在2011年後的困境可參考:Editors’ Introduction to the Special Section on Replicability in Psychological Science
[4] Missing data hinder replication of artificial intelligence studies
[5] 同4
[6] Open ML計畫的願景
[7] 同4