向量式導航和人工網格細胞

2018 年 07 月 30 日2022 年 01 月 05 日 intern 深度學習, 網格細胞

分享至

史丹佛大學應用物理系博士班陳奕廷

探索新的道路、回到記憶中的地點和尋找捷徑等，這些能力看似簡單，卻難以解釋。一直以來，大腦的空間辨認能力是個謎，沒有數學模型能夠好好地描述，亦沒有人工智慧能在這方面和大腦相比。直到最近，採用深度強化學習的最新人工智慧達到了人類等級的空間辨識和導航能力，它不僅能走迷宮，還會抄近路，也對於大腦科學給了一大啟發。不僅僅是人類，大多數的動物都具備「識途」的能力，包含探索新的道路、回到記憶中的地點和尋找捷徑。這種看似簡單的能力，在大腦中的運作原理卻相當複雜。除了難以用生物實驗驗證之外，也很難用理論解釋。

2005年，科學家發現動物大腦中某些神經細胞對空間中特定位置特別敏感。這些位置呈現六角網格狀分佈(圖1A)，因此這些神經細胞被稱為「網格細胞(grid cell)」。每當動物經過這些地點，網格細胞就會被激發。這些細胞對動物的環境認知能力和識途能力非常重要，發現網格細胞的科學家們甚至因此獲得2014年諾貝爾生物醫學獎。基於這個發現，近年來人們認為，就像電影中的「鷹眼」，大多數動物其實具備絕對空間的概念：大腦中有起點和目的地的座標，透過「向量」的方式尋找道路(vector-based navigation) (圖1B)。但在過去超過10年的研究中，尚未出現任何系統化的數學模型解釋這個假說，「向量式導航」也沒有一個定論。也因為這個原因，人工智慧(AI)在導航和識途等相關的任務中輸了動物一大截。

圖1 | A. 黑線動物(通常是老鼠)的路徑。紅點是網格細胞觸發時動物的位置。藍線是視覺輔助用，強調觸發位置在空間中六呈現角網格分佈[參1]。B. 動物對於起點和目的地有絕對座標的概念，在導航時有「向量」的概念。

深度強化學習訓練人工智慧

隨著近日人工智慧和深度學習的蓬勃發展，這個困難已經變成過去式。今年五月初，位於英國倫敦的Google Deep Mind發表了一個具有超越人類空間探索能力的人工智慧[參2]。就像會下圍棋的AlphaGo，這個人工智慧也是經由深度強化學習(Deep Reinforcement Learning)訓練出來的。在訓練的過程中，人工智慧被放進一個迷宮中(圖2A)，其接收的資訊僅有：眼前的影像(圖2B)和自身的速度。除此之外，人工智慧對環境沒有任何資訊。圖2C是人工智慧的數學模型，它將看到的影像輸入一個「空間神經網路」，用來估計自身的位置和面對的方向。接著，把位置、方向和看到的影像同時輸入一個「決策神經網路」，用來判斷下一步應該怎麼走。這些人工神經網路包含兩種基本結構，分別是卷積神經網路(Convolutional Neural Network, CNN)和長短期記憶(Long-Short Term Memory, LSTM)。前者專長分析影像，後者對過去的決策有記憶效應。

在訓練開始之前，空間和決策神經網路裡面全都是亂數，沒有任何資訊。訓練的方式是強化學習，簡單來說就是做了正確的判斷就給獎勵，錯誤就給懲罰。一開始人工智慧沒有任何智慧，只能胡亂猜測。但是根據獎勵和懲罰，它漸漸學習到什麼樣的動作能快速達到目的地並獲得獎勵。久而久之，人工智慧走迷宮的能力就超越人類了！

圖2 | A. 迷宮的鳥瞰圖。B.人工智慧在走迷宮時看到的影像。C.人工智慧的數學結構。

自發出現的網格神經元

人工智慧在某個應用表現超越人類已經不是新鮮事，這個研究對我們在大腦科學中的啟發才是重要的。人工智慧到底都學了些什麼？科學家分析空間神經網路中的人工神經元，監控這些神經元被觸發的時機。如圖3，他們發現人工智慧在迷宮中的特定位置，某些神經元會被觸發，而且這些觸發的地點在空間中成網格狀分佈，其行為簡直就跟動物大腦中的「網格細胞」一模一樣。不同人工神經元對應到不同大小的網格，主宰了對各種空間規模的認知。為了確認這個現象不是偶然發生的，科學家重複訓練人工智慧100次，每一次都有類似網格細胞的人工神經元存在。

除此之外，科學家還有一些重要的觀測。首先，如果關閉像是網格細胞的人工神經元，人工智慧表現的一蹋糊塗。第二，在人工智慧走迷宮時，故意觸發某些網格神經元會讓它徘徊在某個特定的錯誤位置。第三，網格神經元的對應的網格大小分佈呈現1.5倍的差異，和理論預測相符。最後，像人類一樣，具備網個能力的人工智慧有探索未到過的地點和抄近路的能力。種種觀測都表現出網格神經元的重要性。在這之前，網格細胞是空間辨識和導航能力背後的機制只是一個假說。現在，這個人工智慧不僅給予這個假說強力的後盾，也提供一個數學模型，一個平台，讓科學家能更深入地探索動物大腦認知的機制。