傑佛瑞．辛頓 Geoffrey Hinton（1947-）
雖然是英國人，Hinton日後的發展重心卻放在北美，更讓加拿大一躍成為AI的研發重鎮。Hinton極力推廣反向傳播演算法，將已然失去市場信心的「（多層）人工神經網路」重新包裝為「深度學習」，並與學生大力向學界以及大眾推銷這款新瓶舊酒。2012年，Hinton的學生Alex Krizhevsky，以AlexNet贏得當年ImageNet大規模視覺識別挑戰賽冠軍。2018年，Hinton與曾追隨自己的博士後研究員LeCun，以及好友Yoshua Bengio（1964-），因對深度學習的貢獻，三人共同獲頒杜林獎。
撰文／陳裕銘｜編輯／高敬堂
審訂／蔡宗翰（國立中央大學資訊工程學系教授）
●不平凡的家族，造就不平凡的人生
1947年， Geoffrey Everest Hinton 出生於英國倫敦西南方的溫布頓（Wimbledon），是男方 Hinton 家族與女方 Boole 家族優秀基因的繼承者。他的高外祖父是著名邏輯學家 George Boole，也就是布林代數（Boolean algebra）──我們所熟知布林邏輯（Boolean logic）──的發明者，奠定了現代電腦科學的基礎；Hinton 的中間名Everest，來自其曾祖母的叔叔，同時也是位地理學家的George Everest，珠穆朗瑪峰的英文名稱「埃佛勒斯峰」便是以他的名字命名。生在如此優秀的家族，注定了 Geoffrey Everest Hinton 傳奇的一生，但如此輝煌的家族歷史，也從童年開始，帶給他莫大壓力。在一次與《彭博商業周刊》的訪談中，Hinton 說道：「在我童年的時候，我的壓力很大。大概在七歲的時候，我就意識到一件事情：我不讀個博士是不行的！」。
●與大多數成功的人一樣，求學不總是那麼順利
高中時期，Hinton 進入了他口中的「二流公立學校」──克里夫頓學院（Clifton College）──就讀。某天一位朋友對他說：「你知道嗎？大腦的記憶並不是儲存在某個特定的地方，而是分佈在整個大腦，在整個神經網路裡傳播。」也是從這個時候起，Hinton 對大腦的運作深深著迷。「那是我第一次真正認識到大腦是如何工作的。」這是他人生的關鍵，也是他成功的起點。但是很顯然的，Hinton的「AI 教父之路」並非一帆風順。
剛畢業，18 歲的他進入英國劍橋大學國王學院攻讀物理和化學。這是 Hinton第一次離家自己生活，周圍又沒有人陪伴，只讀了一個月就休學了。第二年，他改修建築學，但這次堅持的時間更短：一天！之後他又先後嘗試過幾門不同的學科──出於對大腦的好奇修習生理學，又用了一年的時間修完原先預定兩年完成的哲學課程──最終輾轉來到心理學，並在 1970 年獲得實驗心理學學士學位。Hinton 謔稱自己患有「學習上的過動症」。
畢業後的 Hinton 成了一名木匠，一邊做書架、木門，一邊思考人類大腦的運作原理，並在一年多後回歸學術界。1972 年，Hinton 進入蘇格蘭愛丁堡大學攻讀博士，研究當時人工智慧領域中備受冷落的神經網路。Hinton 在採訪中回憶道：「當我研究神經網路時，我的導師告訴我很多次：不要再浪費時間研究神經網路了！我會跟他說再給我六個月，我會證明這是有效的；然後每六個月之後，我會再跟他說一次一模一樣的話。」
●神經網路的沒落
Hinton 投入神經網路研究的初期，受到 Frank Rosenblatt 很大的影響。1950年代後期，Rosenblatt 在前人的研究成果上，仿照生物神經元提出稱為「感知器」（perceptron）的「人工神經元」，只是理想很豐滿，現實卻很骨感：雖然這套理論是有效的，然而一來 Rosenblatt 的感知器屬於單層神經網路，本身能夠做的事情不多，且受限於當時硬體設備的運算能力低下，效果並不理想。Rosenblatt 的一位同事 Marvin Minsky 與 Seymour Papert 在 60 年代後期的著作《感知器：計算幾何學概論》（Perceptrons: an introduction to computational geometry）中，詳盡說明了單層神經網路的限制以及功能不足之處。幾乎所有的學者都一致相信這是個沒有未來、註定失敗的一條路，等同斷送了類神經網路的發展前途；當然，也只是「幾乎」而已。
對於 Hinton 而言，「大腦就是一個巨大的神經網路。因此，神經網路一定是可行的，因為它在我們的大腦中起作用。」當採訪記者問道：「為什麼緊追著神經網路不放？當其他人都放棄時，您還是認為這是條正確的道路嗎？」Hinton淡然又自信地回答：「不！其他人都錯了。」
●出走北國
1978 年取得博士學位後，Hinton 來到大西洋的彼岸，在美國匹茲堡的卡內基梅隆大學（Carnegie Mellon University）找到工作。只是當時大多數的人工智慧研究計畫都受到美國國防部的支持，然而 Hinton 十分厭惡自己的研究成果被用在如殺傷性武器的研發等軍事項目上，甚至曾簽署過相關聲明，並鄭重地寫信給英國國防部反對將 AI 武器化。為此，Hinton 毅然決心離開美國。
正巧加拿大高等研究機構 CIFAR（Canadian Institute For Advanced Research）在這個時間廣發英雄帖，邀請那些從事非傳統研究但缺乏資金的優秀科學家。Hinton 於是順水推舟，在 1987 年與自己的第一任妻子 Ros──同時也是位分子生物學家──一同搬遷到加拿大，並在多倫多大學繼續他的研究。離開美國的時候，他將一美分硬幣上的圖案影印放大，並將其上美國官方格言「In God We Trust」（我們信仰神）中的「God」（神）改為「DoD」（Department of Defense，國防部），然後掛在自己的辦公室門上。
Hinton 最後證明 CIFAR 當初的決定是正確的──加拿大已成為當今人工智慧研究的重鎮之一，多家科技巨頭紛紛選擇在多倫多設立 AI 研究中心。更有許多優秀人才因為 Hinton 慕名而來，為這個北方國度的尖端研究效力。稱 Hinton一人奠定了加拿大 AI 超級大國的地位，一點也不為過。
●神經網路的短暫復興
1986 年，Hinton 與他的兩位夥伴──David Rumelhart 及 Ronald J. Williams──提出利用反向傳播演算法（backpropagation algorithm）來訓練神經網路。雖然反向傳播演算法並不是 Hinton 發明的，甚至將反向傳播演算法運用在神經網路的這個想法也不是 Hinton（而是 Paul Werbos 於 1974 年）首先提出；然而如果沒有 Hinton 等人的努力，反向傳播法或許就不會因為神經網路而發光發熱，成為AI 發展史上的一大轉折。
我們可以將神經網路視為一個分類器，而這個分類器其實是由一組相互連接的 I/O 單元（Input/Output，意即接收輸入並產生輸出的節點）所構成。對於每一個單元而言，每一筆輸入都有自己的權重（weight），而單元內部也有特定的活化函數（activation function）來決定輸出──這就像生物神經元之間有著不同強度（權重）的連結，每個神經元也只有在刺激（輸入）達到一定的閾值（活化函數）後才會有反應（輸出）。為了讓分類結果更加準確，這個系統需要經過學習與訓練，「反向傳播演算法」便是一種訓練方法：藉由調整各個權重，改變整個網路的輸出，直到得到理想的分類結果。
舉例來說，假設今天我們希望打造一個神經網路，能精準告訴我們圖片中的動物是否是一隻小狗。然而在訓練開始之前，我們給網路看一張小狗的照片，網路卻告訴我們這是隻貓，這時實際情況（狗）與網路的分類結果（貓）有著不小的落差。反向傳播法便是依據落差大小來微調各節點的權重，一次又一次、不厭其煩地嘗試，直到落差縮小，網路的分類結果與真實情況相符。由於更新順序是由較深層（後方）的單元逐步調整至較淺層（前方）的單元，因而稱作「反向傳播」；而這種已經預先知道答案、預設分類器應該有什麼結果的訓練形式，又被稱為「監督式學習」（supervised learning）。
AI 領域中的另一位領袖人物──同時也是 Facebook 人工智慧實驗室首席科學家──Yann LeCun 便在這樣的基礎上建立了一個可以識別手寫數字的系統，並最終得以付諸商業用途。Hinton 和他的團隊更提出以更多層的神經網路──而後重新包裝為「深度學習」（deep learning）──解決那些簡單網路無法解決的複雜問題。神經網路的未來看似一片光明，然而故事往往不會這麼順利──Hinton的研究再次遇到了瓶頸。
為了讓神經網路充分發揮它的潛能，除了大量的訓練資料，硬體設備也必須能夠應付繁複的運算，然而這兩點在當時的時空背景下無異於癡人說夢。除此之外，反向傳播法也有根本上的問題：由深（後）至淺（前）的更新方向，使得深層節點的權重調整幅度最大，而後逐步遞減；隨著神經網路的深度（層數）增加，最淺層節點的權重可能幾乎不會有變動──即使它們才是直接與原始數據相連的節點，掌握最多簡單但最基本的資料特徵！這使得採用反向傳播法訓練的深度網路很快便會遇到學習停滯的問題。
同領域的其他學者沒多久便將注意力轉向神經網路以外的其他替代方案。Hinton 瞬間由雲端跌落，每次參加學術會議的時候總是坐在最角落。因為他根本就不被重視，甚至連自己都開始懷疑自己。
「有很多次我都覺得我不會繼續這項工作了。」
然而他的方向並沒有錯，只是走得太快，世界還跟不上他的腳步。
●終於等到這個世界趕上
寒冬裡蟄伏的 Hinton，終於又一次等到黎明的到來。
2006 年，Hilton 與他的學生一改原先隨機分配各節點的權重再逐一微調的做法，而是讓各個子網路先接受預先訓練（pre-training）再集中學習的方法，改善了學習停滯的問題，這樣的架構被稱為「深度信念網路」（Deep Belief Network）。
深度信念網路最先在手寫數字的辨識上初試啼聲，最後擴展到語音識別，並且在2009 年的一場語音識別競賽上完勝當時其他──無論學術或商用──語音識別系統。當年參與計畫的學生最終為 IBM、微軟或 Google 延攬，其中 Google 最快將其商品化，2012 年開始搭載在自家作業系統的智慧型手機中。
大約在同個時間，開始有人討論以電腦中原先專用於繪圖運算的 GPU（Graphics Processing Unit，圖像處理器）取代傳統運算核心 CPU（Central Processing Unit，中央處理器），以滿足深度網路的運算需求。而網際網路的普及與進步，大量數據可以在短時間內被收集、整理，成為深度網路的訓練資料。種種人為與巧合，人工智慧再次迎來嶄新的局面；而且這一次，是由神經網路獨領風騷。
2012 年，Hinton 與學生Alex Krizhevsky及其他團隊成員帶著訓練出來的模型 AlexNet，參加了圖像識AI 的年度盛事──ImageNet ILSVRC 挑戰賽，以驚人的優勢獲勝（錯誤率比第二名低了足足 10%）。也是從這個時候開始，諸如神經網絡或機器學習之類的詞彙開始頻繁地出現在普羅大眾的生活中。
2013 年，Google 收購了多倫多大學的一家初創公司 DNNResearch，而實際上這家公司只有三個成員：Hinton 與他剛畢業的兩個學生──Krizhevsky與Ilya Sutskever；說明了 Google 不惜千金，只為了 Hinton 與他的團隊。
●長江後浪推前浪，浪還是自己推的
儘管已經成為了深度學習的領袖人物，Hinton 的腳步卻沒有停歇，保持著他一如往常的風格──低調卻不時有驚人之舉。
2017 年 10 月，Hinton 在機器學習領域的年度盛會「神經訊息處理系統大會」（Conference on Neural Information Processing Systems）上，發表了題為《膠囊之間的動態路由》（Dynamic Routing Between Capsules）的論文，提出了全新的神經網路架構——膠囊網路（CapsNet），並宣布深度網路的時代已經過去了，一舉推翻自己過去幾十年的研究。與原先的深度網路相比，膠囊網路擁有更快、更精準、使用更少數據量就可以完成訓練的優勢，儘管仍處在嬰兒期，但在未來，Hinton 相信它還有巨大的發展潛力。也許，這位深度學習教父將再次改寫深度學習的發展歷程。
2018 年，無疑是 Hinton 投入神經網路研究以來備感欣慰的一年。他與另外兩位好友──同時也都是人工智慧領域中領袖級的人物──Yoshua Bengio 和Yann LeCun，因為在深度神經網絡概念和工程上的突破，一同獲得了杜林獎（Turing Award）的殊榮。這個堪稱電腦科學領域諾貝爾獎的獎項，無疑是對 Hinton的認可與榮耀。
●我只是堅信別人都錯了
綜觀 Hinton 的一生，從投入神經網路研究開始到最終獲得杜林獎，整整超過四十年的漫長歲月，竟有大半時間是在飽受他人冷落、研究遲遲無法取得成果的困境中度過；即使如此，他依然固執己見，堅信是其他人錯了，勇於與這個世界為敵，直到這個世界也不得低下頭，向 Hinton 致敬。
參考資料
- Bloomberg. (2018). This Canadian Genius Created Modern AI [Video].
- Geoffrey E. Hinton: Biographical Sketch. (2020).
- Hernandez, D. (2014). Meet the Man Google Hired to Make AI a Reality.
- Preserve Knowledge. (2017). Meet Geoffrey Hinton, U of T’s Godfather of Deep Learning [Video].
- Shute, J. (2017). The ‘Godfather of AI’ on making machines clever and whether robots really will learn to kill us all?.
- TensorFlow. (2019). A Fireside Chat with Turing Award Winner Geoffrey Hinton, Pioneer of Deep Learning (Google I/O’19) [Video].
- The Agenda with Steve Paikin. (2016). Geoffrey Hinton: The Godfather of Deep Learning [Video].
- 文摘菌（民 107）。AI 教父 Geoff Hinton 和深度學習的 40 年。
(本文為教育部「人工智慧技術及應用人才培育計畫」成果內容)