你真的熟悉所使用的工具嗎？
編譯／賴佳昀
請你給我一個解釋！
業界使用機器學習來幫助資料分析的例子屢見不鮮。當刑事司法系統至醫療教育系統都引用機器學習模型來輔助日常運作，這些機器學習模型不可避免地對我們的生活造成或多或少的影響，甚至擴大原本就存在社會中的歧視或給出不公的預測結果，深入了解模型的內部運作也就有其必要性。
模型的可解釋性（interpretability）主要可以分為先天與後天兩種：先天可解釋的模型大多本身結構相對簡單，就像玻璃箱一樣內部一目了然，例如廣義相加模型（Generalized additive models，GAMs）便是線性模型的一種擴展；對於常被比喻為「黑盒子」（black box）的複雜模型，則需仰賴外部技術或工具來為模型給出的預測結果提供解釋。例如：SHAP（Shapley additive explanations），它量化了模型中每個特徵對於結果的貢獻，換句話說，就是每個特徵對模型的影響力。
可解釋性的相關研究相當困難，除了需要對建構機器學習模型所使用的數學非常瞭解之外，對人機互動（Human-computer interaction，HCI）的知識也須到位。即使已有許多工具與套件可供使用，但研究人員能否正確解讀這些工具所提供的數據也是一大問題。
你真的熟悉所使用的工具嗎？
微軟的工程師們為了了解模型解釋工具是否能幫助使用者理解機器學習模型的決策過程，他們讓一些數據科學家們實際操作兩種可以輕鬆取得的模型解釋工具──包括微軟自己開發的InterpretML以及Python提供的SHAP套件──並通過訪談獲取他們的回饋意見。
實驗分三個階段：
第一、前導訪談：釐清使用者在日常工作中常碰到的問題。多與資料本身有關，例如：如何處置缺失、重複或會隨時間變動的數據等；
第二、情境探索：根據前導訪問中歸納出的問題設計模擬情境。研究人員提供每位受試者：完整的資料集、利用該資料集訓練出的機器學習模型以及上述的兩種解釋工具，並要求受訪者利用這些資源來回答一系列有關於該模型的解釋性問題。意在觀察使用者是否能正確使用這些工具，並發掘前導訪問中歸納出的那些問題；
第三、擴大調查：同樣的模擬情境，但線上招募更多有相關經驗的受訪者。由於無法實際操作，研究人員請他們單憑圖表（來自於InterpretML或SHAP任一工具；這些圖表可能被刻意操作，例如將貢獻較小的特徵移到圖表中較顯目的位置）回答與模型解釋性相關的問題。意在量化前一階段的發現，並釐清數據科學家們如何看待這些解釋工具。
研究結果指出，儘管任何人都可以從網路上下載這些解釋工具，使用教程也隨之附上，使用者對於解釋工具的認知以及這些解釋工具的預期目標之間仍有一段差距，導致使用者不是過度信任解釋工具，就是沒有將解釋工具的精隨發揮出來。也就是說：解釋工具將結果以圖表的方式視覺化呈現，然而使用者對這些圖表的理解流於表象。如果圖表符合使用者所設想的，則完全信任；反之，則棄之不用，未能反思他們原先想藉助解釋工具了解的問題。更有些人因為這些解釋工具是公開資源並廣泛使用，而選擇盲目接受其所給出的所有結果。
有圖有真相？
即使InterpretML以及SHAP套件最終都會以圖表呈現分析結果，不過這些圖表上的資訊並不完整。雖然這些資訊都寫在教程中，但使用者是否有完整消化其中的內容，卻是個問號。有些使用者更反映：「圖表上給了許多數字，但是我不確定它們是什麼意思。因為這些數字出現在圖上，而沒有任何描述。」儘管如此，多數使用者還是在缺少這些資訊的情況下繼續使用這些圖表，進而對數據、模型、解釋工具等有了錯誤假設與解讀。有時候圖表的座標軸單位不同，而使用者卻沒有注意到這點，導致得到錯誤的結論。
解釋工具量化了每個特徵對模型的影響力，並以多張圖表的方式將分析結果視覺化。上半部：InterpretML；下半部：SHAP。（圖片來源：H. Kaur et al., 2019.）
可以做的更好
目前為止，機器學習與HCI是獨立發展的。而從微軟團隊的研究，我們可以發現：唯有使用者了解解釋工具本身的功能與使用方法，對解釋模型才能更有幫助，這之中包含使用教程的設計、改進圖表呈現方式以及互動介面等。儘管我們說「工欲善其事，必先利其器」，而這個「器」雖然要「利」，使用者也得清楚為什麼以及如何使用此器，才能成事。
編譯來源
H. Kaur, H. Nori, S. Jenkins, R. Caruana, H. Wallach, and J. W. Vaughan, “Interpreting Interpretability: Understanding Data Scientists’ Use of Interpretability Tools for Machine Learning,” Working paper2019.
參考資料
H. Nori, S. Jenkins, P. Koch, and R. Caruana, “InterpretML: A Unified Framework for Machine Learning Interpretability,” arXiv preprint arXiv:1909.09223, 2019.
(本文由教育部補助「AI報報─AI科普推廣計畫」執行團隊編譯)