談談AI的「低潮期」─演算神經醫學

談談AI的「低潮期」─演算神經醫學

編譯/臺大生醫電資所 葛竑志

受神經元啟發的類神經網路

很久以前,生物學家就知道神經元有著「閾值」和「全有全無率」,將接收到的刺激轉為生物電訊號,經神經元與突觸間的神經傳導物質傳遞。腦中數以萬計神經元所組成的網絡彼此交互作用,因而成就了我們所擁有的記憶、行為與思考等能力。

圖一、(a) 感知器基本架構 (b) 1960年代展示的Mark I Perceptron Machine,能夠辨識一些英文字母。(圖片來源:(a)編者提供 (b)Wikipedia)

當人們第一次注意到神經元可能就是「智慧」的基本單位時,是在二十世紀中期。科學家循著這樣的概念,提出以感知器(perceptron)為基礎的數學模型,能接收多個加權訊號並產出一個輸出值。其中,感知器的活化函數(activation function)特別選擇了sigmoid或是tanh,除了就是要讓函數保持連續可微的性質,以便藉由梯度下降法調整權重外,更是參考了真實神經元對電位訊號的反應曲線。

不久,許多科學家便對生物感知的原理感興趣。像是早期的多層感知器(multi-layer perceptron)因其多層結構使函數更加彈性,能處理更複雜的近似問題,也是參考了神經系統的架構。另一個近年的突破則是CNN的發明,帶來許多電腦視覺問題的突破,特別是其被證實能抽取影像的粗糙特徵,這個現象同樣與真實視覺細胞的機制不謀而合。

兩者彼此間高度的對應關係,打破了既有認為AI僅能協助數據收集與判讀的局限,催生「演算精神醫學」(computational psychiatry)此一新領域。透過研究簡化後的AI演算法與架構,回溯發生在複雜生物體上的精神疾患,包含可能的心理致病機轉。只是,這樣的關係,並不僅限於單向的轉換。

血清素與學習的關係

今年(2018)初在紐約大學舉行的Canonical Computation in Brains and Machines研討會上,一位重量級神經科學家Zachary Mainen發表了幾項關於血清素的研究結果。以往,血清素被認為是像大腦傳遞「愉悅」的神經調節物質,因此憂鬱症的成因常歸咎於它的濃度不足。但Mainen團隊認為並不是那麼一回事,血清素在神經系統中的角色,可能與改變大腦學習狀態非常相關。

他們在小鼠實驗中觀察到,血清素可以讓大腦決定該留下哪些「data」,並依其重要性給予權重。「如果血清素是在幫助智慧系統處理更一個更通用的問題,那麼在人工智慧模型中應該也會有類似的機制。就像濃度異常時會引起疾病,機器在學習過程中應該也會出現等價的狀況。」Mainen認為,血清素和多巴胺在某種程度上,從神經系統內部促進著智慧的發展。

為了觀察血清素對生物決策的影響,他們將小鼠放在通往左右叉路的交會點上,其中一條道路的終點放著裝水的罐子,作為一種獎勵。當小鼠走過幾次這種環境,也熟悉獎勵的位置之後,團隊發現到,透過改變水的位置竟能夠刺激血清素的分泌。此外,有沒有找到水並不是一個重要的因素,而是小鼠是否有因為和預期不同而被驚訝到。

在更進一步的實驗裡,團隊使用雷射刺激奔跑小鼠的大腦分泌血清素,發現它的動作會立刻慢下來,並改變本來要前往的方向。根據Mainen的說法,這可能代表血清素要求大腦的學習系統忘掉剛剛發生過的事情,並回過頭來改變腦中先前的假設。因為接下來,當他們持續為同一隻小鼠注射血清素抑制劑時,發現小鼠的學習效率比以前更差了。

機器也有低潮的時候?

訓練任一個機器模型時普遍都得面對一個重要問題,就是要如何決定模型的全域變數,在這當中,學習速度(learning rate)尤其掌控著機器的彈性程度。舉例來說,它決定了一個人需要花幾年的經驗建構對這個世界道理的認知,當某一天來到了一個完全陌生的地方(國外),為了迅速適應環境,這時就得仰賴學習模型的彈性了。

說機器也可能陷入「低潮」,聽起來可能很怪,但機器模型所面對的問題也很類似。當神經網路的自由度不足以應付問題,學習速度又不夠大的時候,它總是沒辦法讓loss收斂到低點。這時有人可能會覺得拉高學習速度就可以了,但事實上,一旦模型過於彈性,它往往會忘記之前學過的事情,也沒辦法累積長期知識。

透過Mainen的實驗,似乎暗示著生物的智慧可能是透過一種更為複雜的方式長期形成——藉由血清素或多巴胺等調節物質,決定大腦的學習系統和學習速度。Mainen表示,假使今天教導小鼠一個規則然後再迅速地改變它,這時血清素就會明顯地上升,像是提醒著大腦「喔,是時候要改變模型了。」倘若要讓今日的AI能更適應性地學習,或許從這種生物機制的啟發,就能讓模型學得更好。

 

編譯來源

Naveen Joshi. “Guess What? Turns Out Even AI May Face Depression.” Forbes. 2018.

參考資料

  1.  Kiyohito Iigaya, Madalena S. Fonseca, Masayoshi Murakami, Zachary F. Mainen & Peter Dayan. “An effect of serotonergic stimulation on learning rates for rewards apparent
after long intertrial intervals“. Nature Communications. 2018.
  2. Madalena S. Fonseca, Masayoshi Murakami & Zachary F. Mainen1. “Activation of dorsal raphe serotonergic neurons promotes waiting but is not reinforcing“. Current Biology. 2015.
  3. Tristan Greene. “Scientists have found a way to mimic human learning using brain chemicals — and it could impact future AI”. Business Insider. 2018.
  4. Zachary Mainen. “What depressed robots can teach us about mental health”. The Guardian. 2018.
(Visited 1 times, 1 visits today)
views