獨角獸=70%馬+30%犀牛 一張圖教會AI三種「動物」
編譯／許守傑
更有效率的學習方法
傳統的機器學習模型訓練方式十分仰賴大量的學習資料，例如為了使模型能夠辨別一匹馬，便需要提供數千張馬的圖像，這不僅是許多企業（尤其是資料取得、存取不易的領域）遲遲不願涉足AI的主要原因之一，也是（監督式）機器學習與人類學習最大的不同之處。
在人類的學習過程中，幼兒通常只需要看少量（有時候甚至完全不需要任何）範例，便有辦法正確辨識一個物件。好比說給兒童分別看一頭馬和一隻犀牛的照片，並且告訴他獨角獸是一種介於兩者之間的傳說動物，孩子便可以輕易認出故事書插圖中的獨角獸。
人類與機器在學習效能上的巨大差異，帶給了科學家啟發：有沒有可能讓AI模型也能像小朋友一般聰明，只需要少少的訓練資料就能達到一樣的學習效果呢？加拿大滑鐵盧大學（University of Waterloo）的一篇新研究將這種學習方法稱為「LO-shot學習」（Less than One-shot learning，比單樣本更少的學習）。
資料蒸餾
以廣受歡迎的電腦視覺資料庫MNIST為例。MNIST收錄各式各樣的手寫數字影像，從0到9共6萬筆資料，常被用來訓練或測試新的模型。在過往的研究中，麻省理工學院的科學家發明了一種資料萃取技術，經過精心設計和最佳化後，可以將整個MNIST的資訊量以10張影像表示（也就是將大量資料濃縮為一小筆資料）。兩者對訓練或測試一個模型而言是等效的，也就是說：用這10張影像訓練出的模型，與直接使用MNIST訓練的模型，在圖像辨識的準確度上勢均力敵。
圖一、MIT科學家將MNIST壓縮到僅剩下10張影像。（圖片來源：Tongzhou Wang et al., 2018.）
滑鐵盧大學的研究人員希望進一步改進這個「資料蒸餾」（data distillation）的過程：如果可以將6萬張影像縮減到10張，為什麼我們不將它再壓縮到5張呢？他們發現訣竅在於創造一個同時具有多個數字特徵的影像，就好像「獨角獸」同時具備「馬」和「犀牛」的特徵，但本身既非「馬」，也非「犀牛」一樣。
舉例來說，以往我們會直接將「3」標註為「數字3」；但「3」的樣子看起來其實與數字「8」有幾分相似，與數字「7」相去甚遠，於是我們可以換個方式告訴機器：這個影像是60%的數字3、30%的數字8和10%的數字0。這種「軟標籤」（soft label）就是資料蒸餾的關鍵，使得單一圖像可以承載更多資訊。
軟標籤的驚人成果
然而單一圖像上，最多可以疊上多少類（category）的軟標籤呢？答案是，幾乎沒有上限。理論上模型只需要兩筆資料，就可以分出數萬種資料類別。研究人員在數學上證明了這一點，並通過「k-最近鄰居演算法」（k-Nearest Neighbor，kNN，最簡單的機器學習分類法之一）演示LO-shot學習的驚人成效。
圖二、以「顏色」及「果重」區分「蘋果」與「橘子」兩類水果。（圖片來源： 改編自Machine Leaning 101, Jason Mayes）
什麼是kNN？這裡可以圖二簡單解釋。橫軸的「顏色」（colour）與縱軸的「果重」（weight），是我們選擇用以區分「蘋果」與「橘子」兩種水果的特徵。透過觀察與秤重，我們可以將手邊確定種類的水果標示在圖中，例如紅、綠分別是紅色與綠色的蘋果，橘色資料點代表橘子（訓練資料）。灰色點，則是一顆顏色與果重已知，但種類未知的水果；按照它在平面上的位置，由於離它最近的鄰居是綠色資料點（綠蘋果），所以我們推估應該也是一顆（綠）蘋果，這就是kNN的分類原理。
如果像灰色點這樣的取樣點夠多，我們就可以畫出紅、綠、橘三者各自在圖二這張二維平面上所佔據的區域。研究人員發現：透過操縱訓練資料的軟標籤，我們可以在分類空間上切割出任意幾何色塊，即使遠超過訓練資料的數量。
圖三、 研究人員以kNN演示LO-shot學習的潛力。透過操縱軟標籤（每個平面右側的圓餅圖），可以在平面上畫出任意幾何色塊（資料類別的邊界線）。可以看到劃分出的類別數（色塊數）比資料點個數來得多。（圖片來源：Ilia Sucholutsky et al., 2019.）
當然，這種方法還是有其局限性，比如說屬性較複雜的資料集，軟標籤的設計也會越困難。但最重要的是，LO-shot學習方式從根本上減少了訓練一個AI模型所需的資料量，解決AI應用的頭號問題；此外，它還可以改善資料的隱私性，因為需要個人提供的資訊量更少。隨著這樣能夠大幅提升效率的新創見出現，相信未來的機器也能在學習上更貼近人類，發揮更大的功效！
編譯來源
K. Hao, “A radical new technique lets AI learn with practically no data”, MIT Technology Review, 2020.
參考資料
T. Wang et al., “Dataset distillation”, arXiv.org, 2018.
(本文由教育部補助「AI報報─AI科普推廣計畫」執行團隊編譯)