談談AI的「低潮期」─演算神經醫學
編譯／臺大生醫電資所 葛竑志
受神經元啟發的類神經網路
很久以前，生物學家就知道神經元有著「閾值」和「全有全無率」，將接收到的刺激轉為生物電訊號，經神經元與突觸間的神經傳導物質傳遞。腦中數以萬計神經元所組成的網絡彼此交互作用，因而成就了我們所擁有的記憶、行為與思考等能力。
圖一、(a) 感知器基本架構 (b) 1960年代展示的Mark I Perceptron Machine，能夠辨識一些英文字母。（圖片來源：(a)編者提供 (b)Wikipedia）
當人們第一次注意到神經元可能就是「智慧」的基本單位時，是在二十世紀中期。科學家循著這樣的概念，提出以感知器（perceptron）為基礎的數學模型，能接收多個加權訊號並產出一個輸出值。其中，感知器的活化函數（activation function）特別選擇了sigmoid或是tanh，除了就是要讓函數保持連續可微的性質，以便藉由梯度下降法調整權重外，更是參考了真實神經元對電位訊號的反應曲線。
不久，許多科學家便對生物感知的原理感興趣。像是早期的多層感知器（multi-layer perceptron）因其多層結構使函數更加彈性，能處理更複雜的近似問題，也是參考了神經系統的架構。另一個近年的突破則是CNN的發明，帶來許多電腦視覺問題的突破，特別是其被證實能抽取影像的粗糙特徵，這個現象同樣與真實視覺細胞的機制不謀而合。
兩者彼此間高度的對應關係，打破了既有認為AI僅能協助數據收集與判讀的局限，催生「演算精神醫學」（computational psychiatry）此一新領域。透過研究簡化後的AI演算法與架構，回溯發生在複雜生物體上的精神疾患，包含可能的心理致病機轉。只是，這樣的關係，並不僅限於單向的轉換。
血清素與學習的關係
今年（2018）初在紐約大學舉行的Canonical Computation in Brains and Machines研討會上，一位重量級神經科學家Zachary Mainen發表了幾項關於血清素的研究結果。以往，血清素被認為是像大腦傳遞「愉悅」的神經調節物質，因此憂鬱症的成因常歸咎於它的濃度不足。但Mainen團隊認為並不是那麼一回事，血清素在神經系統中的角色，可能與改變大腦學習狀態非常相關。
他們在小鼠實驗中觀察到，血清素可以讓大腦決定該留下哪些「data」，並依其重要性給予權重。「如果血清素是在幫助智慧系統處理更一個更通用的問題，那麼在人工智慧模型中應該也會有類似的機制。就像濃度異常時會引起疾病，機器在學習過程中應該也會出現等價的狀況。」Mainen認為，血清素和多巴胺在某種程度上，從神經系統內部促進著智慧的發展。
為了觀察血清素對生物決策的影響，他們將小鼠放在通往左右叉路的交會點上，其中一條道路的終點放著裝水的罐子，作為一種獎勵。當小鼠走過幾次這種環境，也熟悉獎勵的位置之後，團隊發現到，透過改變水的位置竟能夠刺激血清素的分泌。此外，有沒有找到水並不是一個重要的因素，而是小鼠是否有因為和預期不同而被驚訝到。
在更進一步的實驗裡，團隊使用雷射刺激奔跑小鼠的大腦分泌血清素，發現它的動作會立刻慢下來，並改變本來要前往的方向。根據Mainen的說法，這可能代表血清素要求大腦的學習系統忘掉剛剛發生過的事情，並回過頭來改變腦中先前的假設。因為接下來，當他們持續為同一隻小鼠注射血清素抑制劑時，發現小鼠的學習效率比以前更差了。
機器也有低潮的時候？
訓練任一個機器模型時普遍都得面對一個重要問題，就是要如何決定模型的全域變數，在這當中，學習速度（learning rate）尤其掌控著機器的彈性程度。舉例來說，它決定了一個人需要花幾年的經驗建構對這個世界道理的認知，當某一天來到了一個完全陌生的地方（國外），為了迅速適應環境，這時就得仰賴學習模型的彈性了。
說機器也可能陷入「低潮」，聽起來可能很怪，但機器模型所面對的問題也很類似。當神經網路的自由度不足以應付問題，學習速度又不夠大的時候，它總是沒辦法讓loss收斂到低點。這時有人可能會覺得拉高學習速度就可以了，但事實上，一旦模型過於彈性，它往往會忘記之前學過的事情，也沒辦法累積長期知識。
透過Mainen的實驗，似乎暗示著生物的智慧可能是透過一種更為複雜的方式長期形成——藉由血清素或多巴胺等調節物質，決定大腦的學習系統和學習速度。Mainen表示，假使今天教導小鼠一個規則然後再迅速地改變它，這時血清素就會明顯地上升，像是提醒著大腦「喔，是時候要改變模型了。」倘若要讓今日的AI能更適應性地學習，或許從這種生物機制的啟發，就能讓模型學得更好。
編譯來源
Naveen Joshi. “Guess What? Turns Out Even AI May Face Depression.” Forbes. 2018.
參考資料
- Kiyohito Iigaya, Madalena S. Fonseca, Masayoshi Murakami, Zachary F. Mainen & Peter Dayan. “An effect of serotonergic stimulation on learning rates for rewards apparent after long intertrial intervals“. Nature Communications. 2018.
- Madalena S. Fonseca, Masayoshi Murakami & Zachary F. Mainen1. “Activation of dorsal raphe serotonergic neurons promotes waiting but is not reinforcing“. Current Biology. 2015.
- Tristan Greene. “Scientists have found a way to mimic human learning using brain chemicals — and it could impact future AI”. Business Insider. 2018.
- Zachary Mainen. “What depressed robots can teach us about mental health”. The Guardian. 2018.