約翰．霍普菲爾 John Hopfield（1933-）

雙親皆為物理學家，Hopfield理所當然地成為一名固態物理學家。但不甘於被舒適圈所侷限的他，不斷向外尋找「那個值得解決的問題」。於是先後跨足分子生物學，以及當時新興的神經科學及AI研究，並在各個領域都有不容忽視的發現或研究成果，例如血紅蛋白的別構調控、tRNA參與蛋白質合成的校正機制。而後提出的「霍普菲爾網路」，不但為生物的聯想式記憶（associative memory）提供了簡單的數學模型，也為當時幾近被廢棄的人工神經網路，重新燃起一絲希望。

撰文／劉宜庭｜編輯／高敬堂
審訂／黃從仁（國立臺灣大學心理學系副教授）、潘建源（國立臺灣大學生命科學系教授）

●物理世家

1933年7月15日，John Hopfield在美國芝加哥出生，是父親John Joseph Hopfield與母親Helen Hopfield的第六個孩子。由於雙親都是物理學家，Hopfield從小對物理學的認識便與眾不同。他回憶道：「打從有記憶以來，母親收納縫紉器具的抽屜內就有一把小螺絲起子，只要使用螺絲起子後把它放回原位，我就可以用這把小螺絲起子拆解屋內所有東西。我從小就習慣把所有東西拆解開，觀察它們如何運作。電視機、收音機，甚至我的自行車與模型飛機，都被我拆解過；那些被拆開的東西，如果沒辦法靠自己組裝回去，父親最後還會細心地把它們組裝回原本的樣子。」

日常生活中的許多機械與電器，舉凡自行車、電視機、收音機等，都是Hopfield童年時期的實驗素材。遊戲般的探索逐步形塑Hopfield的科學世界觀：原來世間萬物都依循著基本物理原理而運作，是可以被理解與量化的。透過將事物拆解、實驗，人們得以確認各個組成之間的關係，有系統地認識它們所表現出的種種行為。這就是他繼承父母衣缽，立志成為物理學家的原因。然而在那個年代，身為一位物理學家意味著必須先學會與貧窮和平共處。1929年，Hopfield的父親在古根漢獎學金（Guggenheim Fellowship）的資助下，前往德國柏林深造，原本計畫一年學成後便返回美國大學任教；未料當年便發生了華爾街股市崩盤，經濟大蕭條迫使國內各大學停止招聘新的教職人員。由柏林返美後的父親為了養家餬口，被迫到處打零工維生，在Hopfield出生後，最後選擇屈就於一家玻璃公司。

即使如此，Hopfield對於物理的熱誠不減，只在大學（Swarthmore College）選填專業領域時，因為「高中時的化學老師教得還不錯」而「稍微」考慮了其他生涯的可能性，填上「物理或化學」。所幸當時Hopfield的大學導師William Elmore正是父親的友人，對Hopfield家中的情況與成長背景略知一二。當Hopfield第一次走進Elmore的辦公室時，Elmore提起筆在Hopfield的志願卡上果斷地將「化學」劃掉，說道：「我想我們沒有必要考慮化學。」

Hopfield的成長歷程，讓他更關心發生在我們生活周遭的物理學，而非「虛無飄渺」的核物理或天文物理。這也是他大學畢業後，研究所選定康乃爾大學（Cornell University），而非普林斯頓大學（Princeton University）的原因：前者的物理研究所在固態物理（solid-state physics）這一塊，有更多的師資與資源。在這裡，他遇到了恩師Albert W. Overhauser，並請對方擔任自己的指導教授。師從一位理論物理學家，Hopfield對於理論預測與實驗結果之間的落差，有著不同於常人的體悟：如果理論得出的結果是A，但實驗結果卻是完全不同的B，便顯示既有的理論還不夠好，應該提出更完整的理論，消弭兩者間的差異。如此一來，很多難題其實都相當有趣！Hopfield理所當然地選擇了一個當時理論無法解釋的實驗結果作為研究題目，並在博士論文中提出全新的理論──1958年，Hopfield以單一作者身分發表了一篇與電磁極化子（polariton）相關的文章，對往後雷射與現代光學發展有重要影響。

●第一份工作

面對留在學術界或出走到產業界的抉擇，Hopfield毫不猶豫地選擇了後者，因為業界遠比學界更熱衷於固態物理學的研究。於是他來到了位於美國紐澤西州的貝爾實驗室（Bell Laboratories），這是Hopfield人生中的第一份全職工作，在一支六人理論物理團隊中擔任技術員。

貝爾實驗室的研究環境與氛圍令Hopfield十分印象深刻。例如所屬團隊的負責人Conyers Herring，除了是研究聲子曳引（phonon drag）的專家，同時也十分熱衷於蘇聯文學的翻譯，甚至每個月都會召開一次讀書會，向大家介紹有趣的蘇聯文學作品；儘管在當時的政治氣氛下，舉辦這類讀書會極有可能惹禍上身，但實驗室的管理階層卻未曾硬性禁止，Hopfield也藉此拓展了自己的視野，並在Herring的引薦下認識了許多人，例如Arthur Schawlow、Robert J. Collins與David Thomas。

Hopfield回憶第一次見到Schawlow時，Schawlow興奮地從書桌上拿起一根三英寸長（約7.62公分）的粉紅色桿子瘋狂比劃，解釋自己在雷射上的研究；Collins在介紹硫化鎘邊緣發光（edge-emitting）現象時的神采奕奕，引起了Hopfield對該主題的興趣，後來也發表了一篇相關的研究；Thomas則是一位化學家，有一次Hopfield為了一個與半導體材料相關的問題請教Thomas，一番促膝長談後，兩人便迅速決定組成跨領域團隊，攜手解謎。讓人意想不到的是，兩人因為這次合作，在1968年共同獲得美國物理學會所頒發的「奧利弗巴克利凝態物理獎」（Oliver E. Buckley Condensed Matter Prize）。

只是這一切似乎都不是那個Hopfield心心念念追尋許久的答案。Hopfield永遠記得自己第一天報到時的情景：花了一個上午介紹自己的博士研究，隨後辦理一些行政手續便隨著團員一起去吃了午餐；當天下午，Hopfield在新的辦公室內花了一個小時整理自己帶來的書與期刊，之後到五樓的儲藏室拿了幾本畫線筆記本、幾支鉛筆及筆削，並把每支鉛筆都削得尖尖的。然後他問自己：「然後呢？（接下來能做什麼？）」

不甘於此的Hopfield決定追隨父親的腳步，1968年同樣在古根漢獎學金的資助下前往英國劍橋大學卡文迪許實驗室（Cavendish Laboratory，也是該校的物理學系）訪問半年，只可惜這場越洋的探索最終毫無斬獲。反倒是回國後，Hopfield碰巧結識了當時正在研究血紅蛋白（hemoglobin）的生物物理學家Robert G. Shulman，成為他人生中的一個轉折。

●跨足生物學

血紅蛋白對於當時的生物學家而言，就如同物理學家眼中的氫原子，尤其血紅蛋白如何抓緊或釋放氧氣分子，為蛋白質的生理調控作用提供了一條新的思路。誰釐清了其中的機制，誰便可能因此立下新的典範。這份將生物學推向更嚴謹科學的渴望，令Shulman幾乎是苦口婆心、循循善誘，只希望Hopfield能考慮加入自己的研究團隊，因為分析血紅蛋白結構所需的電子順磁共振（Electron Paramagnetic Resonance，EPR）、核磁共振光譜 （Nuclear Magnetic Resonance，NMR）與X光射線晶體學（X-ray crystallography）等，都是Hopfield過去在研究固態物理時再熟悉不過的實驗技術。基於對跨領域研究的興趣，剛剛遠渡重洋卻空手而歸的Hopfield欣然同意了。

Shulman的團隊最終確認了血紅蛋白會受到組織間氫離子（酸鹼值）與二氧化碳的調控，使得與氧分子的親和力（affinity）降低，靠著這種異位調控機制（allosteric regulation）達到收、放氧氣的功能。這次的成功令Hopfield更加堅信物理在生物學中大有可為，甚至在普林斯頓大學兼課，教授生物物理學（Biophysics）。與此同時，Shulman將團隊的研究重點轉移到了tRNA（transfer RNA，轉運核糖核酸）的分子結構上，然而讓Hopfield更感興趣的卻是tRNA所參與的蛋白質合成過程。

在生物細胞中，一種稱為核醣體（ribosome）的胞器，會按照mRNA（messenger RNA，信使核糖核酸）上的密碼，帶入有正確對應密碼的tRNA，並將其所攜帶的胺基酸連接在一起，合成較長鏈的胜肽，最後組成有功能的蛋白質。對於這一連串精密的生化反應，多數的生物學家都滿足於「鑰匙與鎖」的解釋模型，認為只有帶有正確對應密碼的tRNA會被加入胜肽鏈中，錯誤的tRNA就像一把插錯孔的鑰匙，單純「插不進去或轉不動」！然而Hopfield初步估算的結果，卻發現單以mRNA與tRNA之間的密碼配對，並不足以解釋蛋白質實際合成過程中的高準確率。

Hopfield最終由化學動力學的角度出發，預測了當時尚不為人知的「校對」機制，並將研究成果發表在1974年的一篇論文中。然而這篇「太過物理」的生物研究，當下卻沒有引起太多人的關注。但也是從這個時候開始，Hopfield更確信自己的觀察：生物學中獨有的「功能」（function）這一概念，是無數生化反應集體交織形成的動態網絡所產生的現象，而非單一蛋白質分子或一組連續的生化反應途徑所能及的。換言之，「網絡」才是奧秘所在。

1977年的秋天，一名貴客慕名而來，希望成功跨足物理與生物兩界的Hopfield在一場40人的小型研討會上說說話。他是Francis O. Schmitt，當時「神經科學」（neuroscience）剛起步時的主要推動者；而那場小型研討會是「神經科學研究計畫」（Neuroscience Research Program）下的一部分，也正是這個跨國、跨校的計畫使得神經科學逐漸演變為獨立的研究領域。

一如預期，Hopfield的分享沒有在聚會中獲得太大的迴響；反而是Hopfield本人，雖然欠缺相關的專業知識，卻像闖進遊樂園的孩童，對聚會中每一個人的研究都充滿好奇、躍躍欲試。究竟心智是如何由大腦中的神經元實現的呢？Hopfield如獲至寶，認為自己終於找到了那個值得探索的問題。

●霍普菲爾網路

Hopfield最先是在《科學人》（Scientific American）上看到了關於「康威生命遊戲」（Conway's Game of Life）的一篇文章。雖然號稱「遊戲」，但其實不需要任何玩家參與。像棋盤的遊戲介面上，每一格（細胞）會依循鄰近細胞的狀態決定自己的下一步。例如：當一個有生命的細胞（呈現黑色）周圍有超過3個細胞存活時，則該細胞將會因為資源匱乏而死去（呈現白色）；然而一個死去的細胞若周圍有超過3個細胞存活時，則又會在下一刻轉為黑色，象徵著生命的繁衍。只要設下初始狀態，系統便可按上述的規則演變，呈現出多樣的花紋與樣式。這種看似遊戲的細胞自動機（cellular automata）又被稱作「人工生命」（artificial life），最初是由英國數學家John Horton Conway所設計，反轉了人們對於「複雜系統背後都有繁複規則」的既定印象。

Hopfield馬上聯想到了生物神經元，並認為兩者在某種層面上有著驚人的相似性：無論是神經元或細胞自動機都是由一個起始狀態（state）開始，依照某些規則演變，最終停在終止狀態。只是細胞自動機所依循的，是背後程式所明確定義的邏輯規則（一個細胞本身與鄰近細胞在t時的狀態便決定了該細胞在t+1時的狀態）；然而在生物神經元細胞中，卻有著截然不同的演變規則──赫布定律（Hebb’s rule）。

加拿大心理學家Donald Hebb在1949出版的《行為的組織》（Organization of Behavior）中，首次描述這個理論：

當細胞A的軸突與B細胞靠得夠近，並足以重複且持續地激發B細胞時，兩個神經元或僅其中之一會發生某種生長或代謝上的變化，提升A細胞激發B細胞的效能。
When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A's efficiency as one of the cells firing B, is increased.

這段敘述常被濃縮為一句不甚精確但朗朗上口的口號：「共同放電的細胞會彼此相連」（Cells that fire together, wire together.）。這不僅是1982年Hopfield所提出霍普菲爾網路（Hopfield Network）中的核心概念，而是幾乎所有的人工神經網路中，或多或少都可以看見赫布定律的影子。

霍普菲爾網路的基本結構是一群相互連結的人工神經元（但不允許與自己相連），每一個連結都有一個權重（weight），代表著兩個神經元之間的連結強度。每一個神經元會有一個初始狀態（1或-1），但會根據其他相連神經元的狀態與連結的權重一步步演變，直到終止狀態。

霍普菲爾網路在不同領域有著不同的重要性。在神經生物學中，它為生物的「聯想式記憶」（associative memory）提供了一個簡化的理論模型基礎。聯想式記憶是人類學習中非常重要的一環。它允許在資訊有限的情況下，單憑一個名字、一種味道或一段片面的描述，聯想起來相關的記憶。例如提到「一隻黑色老鼠」、「紅色吊帶褲」、「卡通」，多數人便能自然而然地猜想到是米老鼠。在霍普菲爾網路中，只要我們適切地調整神經元之間的權重，則可使得一群神經元在受到擾動後，其群體狀態仍能依規則演變而收斂到一個穩定的終止狀態，就像是在部分資料缺失或有雜訊的情況下逐漸回想起原先的「記憶」。

對人工智慧（Artificial Intelligence）發展而言，Marvin Minsky與Seymour Papert在1969年出版的《感知器：計算幾何學概論》（Perceptrons: An Introduction to Computational Geometry）中，鞭辟入裡地點出早期單層人工神經網路的限制與缺陷，直至1980年代，人工神經網路研究還未能由這樣的打擊中走出；Hopfield是在這段寒冬中，還能發表關鍵且具影響力研究的少數學者。即使到了現在，人工神經網路以「深度學習」（Deep Learning）之姿重新包裝、粉墨回歸後，霍普菲爾網路的變體仍然存在如深度信念網路（Deep Belief Network）之中。

●然後呢？

Hopfield一生獲獎無數，然而最能言簡意賅概括他一生學術成就的，莫過於2019年美國富蘭克林研究所頒發「富蘭克林獎」（Franklin Institute Awards）時所給出的授獎理由：

將理論物理學上的觀念應用在神經科學與遺傳學等許多重要生物學問題上，並對電腦科學中的機器學習影響深遠。
For applying concepts of theoretical physics to provide new insights on important biological questions in a variety of areas, including neuroscience and genetics, with significant impact on machine learning, an area of computer science.

「然後呢？（接下來能做什麼？）」這個困擾Hopfield大半生的問題，相信也同樣困擾著許多學者、作家與藝術家。然而多數人只願意待在自己的舒適圈中，延續著昨天的工作，頂多向前推進這麼一些些。

身為一位固態物理學家，卻成功跨界分子生物學、神經科學與電腦科學的Hopfield，對於自己今日的成就顯得不卑不亢。一方面，他認為是「自己」勇於跨出舒適圈，孤注一擲地專挑那些有趣、棘手的難題下手，即便當下所有人都不認為那是一個需要解決的問題；另一方面，他也認為自己的成功，「機遇」佔了很大一部分：雙親都是物理學家、貝爾實驗室願意讓他跨入完全陌生的領域、在普林斯頓大學因為備課所需而得以重新梳理既有的資料與自己的研究，特別是那些一路以來曾經幫助過自己的學者們。Hopfield深知自己的研究是建立在這些學者的努力之上，也感念他們願意花時間傾聽一位門外漢想說什麼、想問什麼。他更引用英國劇作家David Hare：

唯有後見之明，才會覺得一切都是理所當然。我一直想寫一部回憶錄，闡釋生命中的種種只是偶然。
It's hindsight that makes a thing look inevitable. I wanted to write a memoir to explain how purely life depends on chance.

許多領域中所謂的「專家」，常常忙碌於「解答」別人的問題。何不放開手「提出」自己想問的難題，至於如何找到答案？隨緣吧！

 

參考資料

1. Active (“Kinetic”) Proofreading | Physical Lens on the Cell.
2. Dennis, S. (1997). The Hopfield Network: Descent on an Energy Surface.
3. Hopfield, J. (1974). Kinetic Proofreading: A New Mechanism for Reducing Errors in Biosynthetic Processes Requiring High Specificity. Proceedings Of The National Academy Of Sciences, 71(10), 4135-4139.
4. Hopfield, J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings Of The National Academy Of Sciences, 79(8), 2554-2558.
5. Hopfield, J. (2018). Now What?.
6. Liviu, S. (2019). Hopfield nets and the brain.
7. The Franklin Institute. (2019). John Hopfield: Mind From Machine[Video].
8. 吳文成（民90）。細胞自動機　Cellular Automata。
9. 陳士杰（民94）。支持向量機基礎。
10. 陳士杰（民94）。類神經網路基礎－霍普菲爾網路。

(本文為教育部「人工智慧技術及應用人才培育計畫」成果內容)