從磁性啟發到神經網路

我們的大腦能在模糊、局部訊息中迅速辨識事物，這種強大的學習與記憶能力成為人工智慧模仿的對象。本文介紹一種由磁性材料中自旋玻璃啟發的神經網路模型，即Hopfield網路。自旋玻璃因內部自旋無法滿足彼此相斥的排列需求，呈現出多個穩定但不唯一的能量谷，每個谷可視為一種記憶狀態。Hopfield網路仿此原理，將神經元狀態類比為自旋，透過彼此間的連結強度儲存資訊，並在擾動後自動回復至穩定記憶。雖然該網路有容量限制，但它奠定了神經計算的物理基礎。隨著深度學習與新型架構的出現，這種由物理啟發的神經網路不僅拓展了我們對人工智慧的理解，也讓電腦記憶系統邁向更強大與抽象的層次。

撰文｜穿山甲

人類往往可以辨識出熟悉的事物，即便沒有看到全貌，監視器再怎麼模糊也能夠猜測個十有八九，而電腦能否像人類一樣辨識圖像，抑或仿效大腦的學習能力？這就要從磁性材料的特性說起。

自旋玻璃 阻挫現象

磁性材料的每個晶格點上存在著自旋，這些自旋猶如一個小磁鐵般帶有磁性。倘若是鐵磁性材料則大部分的自旋都喜歡朝同一方向，並且讓整體產生自發磁性。假使是反鐵磁材料，則晶格點上的自旋，會喜歡一上一下交錯排列，如此磁性會被相互抵銷不產生磁性。然而，有一種材料稱之為自旋玻璃，裡面的自旋方向雜亂無章呈現無序狀態，裡面的自旋又會相互牽制。舉例來說，有三個晶格點上分別存在A、B、C三個自旋，假設三個自旋皆喜歡反向排列，假使A朝上，B就會朝下，但C就會有朝上與朝下兩種選擇，怎麼選都無法讓三個自旋都相互反向，誰也滿足不了，這個現象稱之為阻挫。因為阻挫現象系統無法達到最舒服的狀態，也就是能量最低的狀態。鐵磁與反鐵磁的話就有辦法達到最低狀態。既然無法達到能量最低狀態，只能退而求其次，讓系統處於局部最低狀態。展開能量圖可以發現到會存在許多小山谷，有著複雜的地形圖。每一個小山谷都是代表著特定的自旋排列方式，可以用來存放一組資料。我們可以將自旋玻璃的系統，經由演算法寫入電腦中，稱之為神經網路。

仿效神經 建構網路

自旋玻璃的這項特性與人類大腦運作的方式有點類似。人類大腦存在著許多神經元，神經元與神經元間由突觸相互連接，許多神經元相連就會形成網路。當人類看到一張車輛照片，就會在腦中匹配過往的回憶，這時神經元就會受到擾動，進而通過彼此相互聯繫的網路產生交互作用，漸漸地讓整體的神經元朝向某個局部穩定的狀態趨近，進而推斷照片是一輛車。同樣地，自旋玻璃的系統中，存在許多自旋，每個自旋間都會有相互作用，這些相互作用讓自旋系統形成網路。如果系統中的自旋受到外界雜訊的擾動，就會牽一髮而動全身，讓自旋間開始翻轉，直至系統的局部最低點。這時就會在局部最低點找到以前放的車輛資料，隨後就可以從電腦上顯示出車輛照片。

最初的神經網路稱之Hopfield網路，由物理學家約翰·約瑟夫·霍普菲爾(John Joseph Hopfield)在1982年提出。從自旋的角度出發，可以將系統的總能量以易辛模型描述為下式所示。

其中H表示系統的總能量，ω_ij為兩個自旋間的交互作用強度，神經網路中代表神經元間連結的強度。s_i、s_j表示自旋的方向，神經網路中代表神經元的狀態，若為+1表示激發態，-1則表示非激發態，也可以用0或1表示。θ_i表示磁場強度，在神經網路中表示神經元的閥值。第一項代表每個神經元相互作用的結果，這一項會決定系統的穩定狀態形式。第二項通常可以省略，但它可以用來強化某一個神經元更傾向哪種狀態。

假設今天給電腦一些圖片讓它學習，我們可以將圖片轉換成0與1的排列組合，這些0與1的資訊可以儲存在神經元的節點上。不同圖片0與1的排列肯定是不一樣。若給一張未知圖片，讓傳統程式找到相對應的圖片，可以比對未知圖片的0 1組合與資料庫中哪張圖片一致，就可以尋獲對應的圖片。然而，倘若未知圖片有雜訊，即便只有一個位元錯誤，就會比對不出全部吻合的0 1組合。但人類大腦看到模糊的圖片，還是可以猜測出來是哪張原始圖片，神經網路的模型亦是如此。

交互作用 輔助還原

將一張圖片送至神經網路學習，透過運算我們可以找出s_i間的相互作用關係，也就是ω_ij矩陣。再給電腦一張相同圖片，透過這個矩陣可以找到局部最低點，也就是存放正確圖片的地方。如果給的圖片含有雜訊，換言之某幾個神經元的0或1變了，仍然不影響電腦回答出正確的答案，因為每個神經元與其他神經元間都會有交互作用。在推斷圖片的過程中，周圍的神經元會輔助改變的神經元恢復到正確的數值，從而顯示正確圖片，這就是神經網路的強大之處。當然如果雜訊大到某種程度，仍有可能無法成功比對。

如果一次學習三張圖片，經過運算ω_ij矩陣會些微改變，因為能量的地形圖需要變更為至少存在三個山谷，用以儲存三張圖片的資訊。學習的圖片越多，在判別圖片時就容易發生混淆形成虛假的穩定態。以傳統程式來看，如果有N個0或1，就有2^N種組合，可以儲存2^N個資料，以Hopfield網路來說無法儲存那麼多資料，最多只能儲存大約0.138N筆資料，超過這個數目後，記憶會互相干擾、變得模糊甚至錯亂。這問題在當時被認為是最大的缺陷之一。然而隨著研究方法的更迭演進，發展出其它種神經網路模型，這些模型不再是單純地記憶圖片，它們能在抽象空間中記住更多樣、泛化能力更強的概念。或許，在不久的未來，電腦不再只是單純模仿大腦，而是透過更抽象的語言，真正理解思考與記憶的本質。

參考文獻

1. Krotov, “A new frontier for Hopfield networks,” Nature Reviews Physics, vol. 5, pp. 366–367, 2023.
2. C. Marullo and E. Agliari, “Boltzmann machines as generalized Hopfield networks: a review of recent results and outlooks,” Entropy, vol. 23, p. 34, 2021.