無用之用 AI也需要多元、適性發展

OpenAI設計了一系列看似沒有商業利用價值的AI。然而它們是真的毫無是處?還是我們看不見它們的價值?

編譯/江彥成、黃思齊

進擊的走路機

走路機拖著累贅般的左腿,一跳、一跳地抖動前進著,幾百公里之後,才終於顫顫巍巍地走出第一步。它經常卡在斜度10度的坡道上動彈不得,還稱不上學會走路。走路機的創造者──Uber AI實驗室的研究員Rui Wang與前同事Jeff Clune──習慣把電腦開整夜,滿懷期待地在隔天上班時打開螢幕,看看走路機又會摸索出什麼出乎意料的走路方式。

這是一樣稱作POET(Paired Open-Ended Trailblazer,開放配對先驅者)的軟體,裡頭其實包含兩套AI:一組負責產生複雜的地形環境,另一組則不斷嘗試不同的步行策略來攻克前者產生的地形。在無數次失敗的嘗試後,走路機漸漸發展出複雜又自成一格的步伐,過程中完全不需要人類的參與。

POET與我們在新聞中常聽見或看見的AI不同,它不能玩圍棋、無法辨識醫療影像中的癌變組織或預測蛋白質的折疊。POET能做的事看似極其有限,甚至可以說毫無用處,但Wang與Clune對POET其實有更高的期待。

AI到了近代,主要以人工神經網路為主,網路中層層相連的節點建構出輸入和輸出間複雜的數學關係。輸入、輸出之間要包含幾個隱藏層才會有最好的效果?如何調整各節點的參數?這類架構設計的問題,同時也是一個人工神經網路成功與否的關鍵,非常仰賴研究人員的經驗。直到1980年後,科學家開始有了瘋狂的想法:透過AI隨機生成另一個人工神經網路的結構,並自動化地測試該結構的效果。這個作法,稱為NAS(Neural Architecture Search,神經網絡架構搜索)。

2018年開始,Esteban Real和Google的同事利用NAS打造出的一系列圖像辨識模型,與當時最頂尖的人類設計模型相比更小、更快,卻能產生更準確的辨識結果。2020年,Real再一次證明自動機器學習(Automated machine learning,AutoML)的潛力──新一代的AutoML Zero僅透過幾個機器學習背後的基礎數學概念、六行程式碼,從頭構築出複雜的神經網路結構,甚至發展出梯度下降法(gradient descent)這項技能。雖然目前為止還沒有令人意外的突破,但以AI設計AI或許是更高效的模型設計方法。

●人類的侷限

(圖片來源: Baker et al., 2019)

OpenAI曾做過一項有趣的研究:他們在虛擬環境中,讓兩組AI一個當鬼,一個當人,互玩躲貓貓。兩者都可以利用地形,以及移動場地中的障礙物或斜坡來方便自己躲藏或捉人。漸漸地,兩方展開如同生物演化上的軍備競賽,各有千秋,但誰也不能長期壓制對方。

有別於監督式學習(supervised learning)和非監督式學習(unsupervised learning)等機器學習方法,OpenAI透過類似遊戲的場景引導AI做出符合人類期望的行為,這種方法被稱作「強化學習」(reinforcement learning)。強化學習的靈感,來自於行為主義心理學:透過獎勵和處罰(遊戲中的積分),強化生物對特定刺激與反應的連結。

在遊戲中,時間的觀念被導入AI的學習中:在時間點t1時,模型根據接收到的觀察結果O1,做出行動A1並對環境造成影響;在下一個時間點t2,模型再根據A1造成的環境差異(O2-O1),決定自己的下一步。這個流程讓模型懂得「回顧」自己的行動,並能進行長時間的推理。

(圖片來源:Plappert et al., 2021.)

但隨著時間與遊戲次數的增加,兩組AI都發展出驚人的行為。它們學會如何抄捷徑,利用模擬空間的設計瑕疵來更方便、快速地贏得遊戲,例如:人在鬼可以動作之前將斜坡擠出場外,使鬼無法利用斜坡進入小房間;鬼發現自己可以站在箱子上移動,以「衝浪」的方式進入人所躲藏的小房間。

這樣的結果可以有樂觀與悲觀兩種詮釋。正面來說,AI點出了人類在思想上的侷限,提醒我們應該跳出框架思考;但反過來說,從人類出發的視角與世界觀,或許正是AI發展的最大限制。以前述的POET為例,走路機一路上遇到的木棍、坡道和溝渠,雖然有無限多種組合,但終究是「人類」設下的挑戰。走路機的潛力,或許正被我們的認知所箝制。除了讓AI自行找到可行或最佳的行為策略,要真正做到「以AI創造AI」,更重要的是讓AI成為另一個AI的老師。

OpenAI 另一項研究中的兩隻機械手臂或許是絕佳案例:在虛擬空間中的兩隻機械臂,一隻負責將桌上的積木排列成複雜的形狀,另一隻則致力將積木依序列排好。反覆訓練之後,即使將積木換成西洋棋、盤子或其他物件,後者都不需要另外重新訓練,而能沿用先前的經驗來應對新環境。

●開放學習,開放未來

Clune深深明白,距離真正的AI自我設計演算法(AI-generating algorithms,AI-GAs)還有一段路要走,但POET已經邁出艱難地第一步。在訓練POET的過程中,隨機轉換環境是非常關鍵的。走路機無論是卡住或匍匐前進,不斷地給予難易不一、意想不到的新環境,有助於模型在強化既有技能和發展新技能中取得平衡。

然而放手讓AI設計AI,也同時意味著我們無法控制AI的行為,也無從預測AI的表現。自學產生的AI,或許會比現在的「黑盒子」更難為人類理解,屆時要人為校正幾乎是不可能的!人類必須重新思考AI的應用與研究倫理,並與模型的設計效率取得平衡。但這只是開始,Clune強調,正視AI自我學習的潛力,讓更多人加入討論,才是他現階段的目標。

 

編譯來源

參考資料

  1. Baker, B., Kanitscheider, I., Markov, T., Wu, Y., Powell, G., McGrew, B., & Mordatch, I. (2019). Emergent Tool Use From Multi-Agent Autocurricula. arXiv.org.
  2. Clune, J. (2021). AI-GAs: AI-generating algorithms, an alternate paradigm for producing general artificial intelligence. arXiv.org.
  3. Plappert, M., Sampedro, R., Xu, T., Akkaya, I., Kosaraju, V., & Welinder, P. et al. (2021). Asymmetric self-play for automatic goal discovery in robotic manipulation. arXiv.org.
  4. Someda, T. (2018). Using Sparse Modeling in AI: A Human Centric, Explainable Approach. HACARUS INC.
  5. Wang, R. (2021). POET: Endlessly Generating Increasingly Complex and Diverse Learning Environments and their Solutions through the Paired Open-Ended Trailblazer. Uber Engineering Blog.

(本文由教育部補助「AI報報─AI科普推廣計畫」執行團隊編譯)

(Visited 1 times, 1 visits today)
views