不知為不知的智慧

不知為不知的智慧

編譯/臺大資工所 許晉華

過度自信

芝加哥伊利諾伊大學資工教授Brian Ziebart指出:現有的機器學習模型,大多假設未來事件會與過往經驗相似;因此,當新物件出現時,系統通常會太過自信,以訓練資料集中的資料來推估新物件,即使兩者沒有或只有很少的共通點。

例如將電腦視覺應用於自動駕駛車輛時,系統會追蹤並以邊框標記視線範圍內物體。在光線充足、視線清楚的情況下,若原先的訓練資料集大多是在此類環境下所拍攝的影像,則AI表現出色;然而現實世界並非總是如此單純:當天氣轉陰時,AI的辨識準確率或可由晴天時的80%,驟降為40%。設想延伸應用至夜間道路時,會有怎樣的後果?

另一方面,人類的應對,在此處卻有可取之處。當人類遇到意外狀況,例如一駕駛發現道路前方出現未知物體時,並不會直接超車越過,而是選擇將車速降下來,觀察其他駕駛的反應後,或急轉彎,或採取其他動作。一般來說,在情勢明朗前,人類傾向謹慎行事,避免鑄下大錯。Ziebart希望AI在類似情況下,也能以同樣的謙遜與謹慎態度應對。與其衝動行事,不如承認當前的不確定性,提出疑問,以取得更多的資訊。

熟悉環境中的未知

Ziebart認為:既然再多的訓練與驗證,也無法含括所有的可能狀況,不如在資料集中混入雜訊,幫助AI「意識」到自己可能身處未知事件中。人類本身看待事物的觀點與角度,便或多或少存在著灰色空間,藉由招募不同人員來標記影像中的物體邊界,也勢必會得到迥異結果,反映了現實中的混亂。透過接觸大量困惑且相互矛盾的資料,期待AI在預測時,也能同時考慮不確定性,提醒系統在遇到新事件時,應保有謹慎態度,並向外尋求更多資訊。

當然,在自駕車的例子中,恐怕沒有足夠的時間讓AI在發現異物時尋求協助,但至少能意識到在第一時間應當減速慢行。

機器學習的下一步

Ziebart認為如何讓AI意識到自己所受訓練的不足,是AI設計的基本課題之一。其所研發的系統目前仍處於實驗階段,藉由提供混雜且多變的資料,AI的預測結果和人類標記邊界的重複面積,已可逾七成以上。另與芝加哥伊利諾伊大學Sima Behpour和卡內基梅隆大學Kris Kitani的合作結果,Ziebart的混沌AI在ImageNet物體偵測任務中,成功辨識率甚至較目前表現亮眼的資料增強 ( data augmentation ) 法相比,還高了16%,已是相當優異的成果。

 

編譯來源

Tucker Davey. “How AI Handles Uncertainty: An Interview With Brian Ziebart.” Future of Life, 2018.

參考資料

S. Behpour, K. M. Kitani, and B. D. Ziebart. ADA: A Game-Theoretic Perspective on Data Augmentation for Object Detection. Arxiv.org, 2018.

views