AI也玩捉迷藏!?

AI也玩捉迷藏!?

撰文/陳儁翰

模擬生物的演化

一個能與物理世界中的物件互動、替代人類完成多樣且複雜任務的智慧體,一直是強化學習的方向之一。然而單智慧體的強化學習設定,除了設計出合適的「獎勵函數」(reward function)需要投入大量時間與人力外,過於單一、理想化的模擬環境,也與現實世界脫節。一種解決方案,是營造多智慧體的訓練環境,模擬地球生物彼此競爭、合作、偕同演化的過程,透過主動學習與探索(Autocurricula),智慧體們得以積極利用環境優勢、開發新技能,並相互反制。

OpenAI搭建的捉迷藏環境,紅色的代表獵人,藍色的代表獵物,獵人與獵物都能夠與空間中的物體互動,例如推動空間中的箱子。(圖片來源:Kanitscheider et al., 2019.)

上圖,是OpenAI團隊所搭建的模擬環境。透過多個獵人(紅色人形)與獵物(藍色人形)間類似捉迷藏的遊戲,訓練智慧體們善用空間中的各種物件(例如推動空間中的箱子),並發展出合作或競爭的關係來達到目標(例如獵人合作捕捉獵物,或獵物間相互掩護)。

模擬一開始,智慧體只會在空間中隨意走動;在遊戲進行了269萬回合後,智慧體學會了簡單的追逐與逃跑;862萬回合後,獵物學會可以用箱子將入口封住,在右下角的小房間中躲過獵人的追捕;但在1450萬回合後,獵人竟也學會了反制,將斜坡抵住牆壁爬進獵物所在的空間。然而,獵物最後又占了上風,學會利用獵人在每回遊戲開始時會有數秒的時間無法動彈,將斜坡先拖進小房間內,再用箱子封住房間的出入口,使得獵人毫無接觸到斜坡的機會。

(圖片來源:Kanitscheider et al., 2019.)

這樣的過程展示了智慧體能透過不斷的嘗試與學習,從零開始發展出複雜的競爭或合作策略,而且不需要人為介入。隨著訓練次數增加,智慧體對環境的掌握愈趨純熟,所表現的行為也越來越複雜。

投機取巧

經過演化算法或是強化學習訓練出的智慧體,有時候則會表現出超乎想像卻又非常有效率的投機行為。以上述捉迷藏的環境來說,智慧體學會利用環境設定上的漏洞,類似玩家濫用遊戲裡的bug以達到目的。例如:獵人騰空飛起直接飛進被獵物封住出入口的小房間內;或獵物以同樣的方式將斜坡擠出場外,使獵人無法利用斜坡進入小房間。另外,獵人也發現自己可以站在箱子上移動,以「衝浪」的方式進入獵物的藏身之處。

電競成就

OpenAI這次捉迷藏使用的模型為OpenAI Five,事實上早已有登場的記錄。還記得人類與OpenAI在電玩遊戲Dota上的人機大戰嗎?

Dota是一個5對5的遊戲,每位玩家操控一隻英雄,要盡量在地圖上擊殺對手或取得資源,過程中持續擊破對方的防禦塔,最終攻破對方主堡的遊戲。電腦使用5個控制器來控制5個英雄,也就是說5個智慧體必須有良好的合作默契,才能打敗人類玩家所組成的戰隊。

當時OpenAI使用了叫做OpenAI Five的模型,模型主要有幾個特色:第一,模型的輸入使用了大量的特徵工程,選取適當的特徵,例如英雄的血量、技能狀態、魔力、位置等資訊;第二,引入了自然語言裡的LSTM。LSTM的特性是能夠處理帶有時序性的資料,而遊戲的進行本身就是有時序性的;第三,對於數量不一定的小兵與敵人,模型使用了max pooling進行合併。

強化學習的獎勵也依據不同的訓練階段給予調整:在訓練的初期強調每個控制器的個別表現,使電腦能快速的上手遊戲;等到電腦有一定的控制能力以後,開始強調多智慧體間的合作,共同達成獲得最終勝利的目標。藉由數以萬計的CPU進行多次的訓練,僅僅結合強化學習裡經典而有效的算法,依然能突破多智慧體訓練上的困難。

延伸閱讀:遊戲AI不是只會玩遊戲〉、〈AI化身電競選手,展現團隊合作默契

 

參考資料

  1. B. Baker, I. Kanitscheider, T. Markov, Y. Wu, G. Powell, B. McGrew, and I. Mordatch, “Emergent Tool Use From Multi-Agent Autocurricula,” arXiv.org, 2019.
  2. L. Buşoniu, R. Babuska and B. De Schutter (2010). “Multi-agent reinforcement learning: An overview,” Chapter 7 in Innovations in Multi-Agent Systems and Applications – 1 (D. Srinivasan and L.C. Jain, eds.), vol. 310 of Studies in Computational Intelligence, Berlin, Germany: Springer, pp. 183–221.

(本文由教育部補助「AI報報─AI科普推廣計畫」執行團隊編譯)

(Visited 1 times, 1 visits today)
views