AI的參與式設計正義
編譯／江彥成、黃思齊
性盲不代表性平
去年八月，Apple攜手高盛集團發行了第一張數位信用卡──Apple card。這張高盛執行長David Solomon稱之「史上最成功的信用卡」，上線不到 1.5 個月，核發額度便已達100億美元。然而卻被科技創業家David Heinemeier Hansson指控其中的審核機制帶有明顯的性別歧視：他與妻子共同申報所得稅多年，妻子的信用分數甚至較高，但高盛核發給妻子的額度卻比丈夫低20倍！類似的事件也發生在Apple聯合創始人Steve Wozniak身上。高盛在聲明中澄清：他們是依據演算法的建議核發卡片額度，而該演算法從未將申請人的「性別」考慮在內。那麼，當中到底哪裡出了問題？
類似的問題不僅限於科技公司。美國法院近年來陸續引入「COMPAS系統」（Correctional Offender Management Profiling for Alternative Sanctions，受刑人接受替代性懲罰的管理評估）來協助法官量刑。COMPAS是根據法院過去的歷史資料進行訓練，透過受刑人年齡、犯罪行為等客觀事實預測該受刑人未來再犯的風險。但調查機構ProPublica在2016的報告中指出：比較兩位同樣沒有前科的初犯，非裔人士被標註為「高風險」的機率是高加索裔的兩倍。值得注意的是：COMPAS在設計之初，便已為法律特別要求「不得將種族差異納入考量」，但顯然未能防患於未然。
資料中的偏見
要解釋其中的問題並不難──垃圾進，垃圾出（Garbage in, garbage out）。
在美國，非裔和高加索裔的被捕率就是不同。COMPAS的偏誤，其實來自於美國司法數據中，執法單位長期以來不成比例地以特定族群為目標所致。這類歷史中既存的社會偏見，對於仰賴過去資料為判斷依據的AI演算法而言，影響深遠：即使刻意不去考慮性別或種族等敏感的人口特徵，居住地、郵遞區號，這類看似無關的其他變項中，依然透露出蛛絲馬跡。
然而為求結果「公平」，而硬性調整演算法參數，使得原先風險不同的高加索裔與非裔人士獲得相近的結果；或調整歷史資料，使得各種族的資料數量相當，似乎都與原先的初衷背道而馳。有鑑於此，紛紛有人引入公共政策中常見的「參與式設計」，期待透過多人與多元族群的參與，促進演算法的公平性。
參與式設計
參與式設計的概念起源於北歐。1960至1970年代，北歐企業開始製造業的自動化與智慧化，以提升生產力。但受雇者卻無法分享到其所帶來的利益，反而普遍感到去技術化、自主權降低及工作碎片化，因此聯合抵制這波改革。於是，北歐企業界、工會和學者，希望藉著設計端與使用端共同合作，邀請受影響的各方參與其中，發展出令工作者有掌控權，又符合企業需求的生產流程。
「與人設計」（Design with Human）是參與式設計的關鍵。在產品開發早期去觀察、了解使用者的想法或需求，賦予使用者和其他成員同等的地位，與設計者共創符合各方期待的解決方案。以機器學習（以下簡稱ML）為例，用戶可以扮演三個角色：
- 工作式參與（Participation as Work）
用戶貢獻於訓練演算法所需的資料。這可能是有償的工作，例如亞馬遜外包網，大量的影子工作者（ghost workers）協助資料標註；也可能是無償提供，例如reCAPTCHA的機器人驗證機制，使用者由九宮格中挑選出符合特定描述的圖片，證明自己是真人以順利使用網路服務，但同時也為AI標註圖像。
- 顧問式參與（Participation as Consultation）
在設計AI時，廣泛徵詢所有可能受影響的各方。顧問式參與能夠豐富開發團隊的視角，並在思考解決方案時廣納更多元的意見。
- 監理式參與（Participation as Justice）
價值觀監理的主要目標不再是產品的最佳化，而是觀察一產品在其生命週期中是否能持續為受影響的社群提供正面價值。比如上文提到的ProPublica揭發了COMPAS系統中的種族偏誤，其組織宗旨即是持續關注「政府在利用軟體工具預測未來犯罪時，不會因為歷史資料或是組織的政治立場而對非裔族群不利。」邀請這類的團體參與AI專案，會更容易取信於相關社群。
問題在結構
可惜的是，參與式設計在現實中對AI偏誤問題的幫助非常有限！原因在於資本主義和AI「大者恆大」的特性高度重合，容易造就壓榨和特權的產業環境。
（圖片來源：Google Map）
以Google地圖為例：Google仰賴使用者無償提供自己的座標位置，即時反映道路的交通狀況。若某個地理位置的使用者移動速度很慢，Google會把該路段標示為代表「壅塞」的紅色，提醒其他用路人。當越來越多人使用Google地圖，預測車流量的ML算法表現也越好。正循環之下，形成了其他地圖產品無法與之競爭的壁壘，穩穩把持著七成的市場；但你當初送給Google的免費資訊，卻不會得到相應的回報。
參與式設計並非公平AI的萬靈丹，但若設計得宜，仍有可能降低偏誤的發生與對我們生活的衝擊。受聘於紐約大學的社會學家Mona Sloane認為我們可以由四個方面著手：
- 重新賦予用戶資料權
多數人難免在日常生活中使用到含有ML技術的工具，但卻多半沒有意識到自己的資料是如何協助維護或是改進現行工具的。ML開發者需要承認這些資料的價值，明示自己正在取用哪些資料，並提供補償機制或是用戶退出服務的途徑，這會讓系統開發者更重視用戶的意見。以市場競爭的角度而言，更重視用戶意願或用戶認同的產品，也更容易勝出。
- 詳細盤點受產品影響的各方
在軟體工程領域，將用戶的需求或所處環境一刀切佷方便，但去脈絡化的設計思維，卻是造成盲點的罪魁禍首。例如在設計臨床護理的ML系統時，只諮詢醫生？或同時也諮詢護士與病患？釐清各群體參與的原因和方式，可以使得決策更為透明，在發生問題時也得以追溯原因。
- 價值觀監理計畫要從長計議
在設計過程中引入價值觀監理團體，不僅是要取得該群體的支持和信任，還要在長期的互動中，協助該團體從ML工具的應用中共享或獲取知識，那麼他們很可能會隨著時間的推移持續參與。例如美國的信用評分系統，作為評估個人信用的指標，初期也飽受批評，但隨著機制透明化和持續溝通、改進，逐漸為眾人認可。
- 建立失敗項目的資料庫
歷史上因為考慮不周而導致失敗的項目很多。這類的失敗經驗，從現在看來，往往可以由社會結構的角度（例如種族歧視）去分析、了解失敗的原因。而ML開發者也需要積極培養自己的「橫向」思考能力，若能建立一個方便搜尋的資料庫，便能有效避免類似的遺憾再次發生。
關於公平AI與科技正義的討論令人鼓舞，但參與式設計並非萬靈丹，是時候正視其中的結構性問題了！
參考資料
- A. Karakas, “Google Maps:Friendly Giant?”, The Economics Review, 2019.
- J. Angwin, J. Larson, S. Mattu and L. Kirchner, “Machine Bias“, ProPublica, 2016.
- J. Zou and L. Schiebinger, “AI can be sexist and racist — it’s time to make it fair“, Nature, 2018.
- K. Hao and J. Stray, , “Can you make AI fairer than a judge? Play our courtroom algorithm game“, MIT Technology Review, 2019.
- K. Hao, “The problems AI has today go back centuries“, MIT Technology Review, 2020.
- M. Sloane, “Participation-washing could be the next dangerous fad in machine learning“, MIT Technology Review, 2020.
- S. Mansoor, “A Viral Tweet Accused Apple’s New Credit Card of Being ‘Sexist.’ Now New York State Regulators Are Investigating“, Time, 2019.
(本文由教育部補助「AI報報─AI科普推廣計畫」執行團隊編譯)