情緒全寫在臉上？

撰文／陳儁翰

臉部動作編碼系統

對於臉部肌肉的移動，我們需要統一與精準的描述，才能有進一步的研究與討論。Ekman等人根據解剖學發明了一套臉部動作編碼系統，將人臉肌肉劃分成幾十種運動單元（Action Unit，AU）。以開心的表情為例（如下圖d）可以被編碼成AU 6和AU 12的動作組合。其他常見的經典表情──憤怒、傷心、厭惡、恐懼和驚訝──也都有相對應的編碼。

(圖片來源：L. Barrett et al, 2019 & Y. Tian et al, 2001.)

表情到情緒

在人工智慧領域，也會基於以上假設建立情緒辨識系統，例如微軟已經推出臉部辨識與情緒偵測的API（Application Programming Interface，應用程式介面），使用者可以上傳照片，API會回傳照片中人物的性別、年齡、情緒等資訊。有別於這類無傷大雅的娛樂性應用，未來這項技術若為FBI所採納，用以追捕作賊心虛的恐怖份子或嫌犯等，情緒辨識的正確與否，肯定會對整個社會帶來莫大影響。然而美國東北大學的Lisa Barrett等人在回顧現有相關研究後，發現這類由「表情推論情緒」的研究常有方法論與推論上的缺陷。

舉例來說，研究團隊需要在事前蒐集大量資料，以訓練人工神經網路。然而過去的作法常常是提供一系列表情誇大的照片，並要求（人類）受試者從有限的選項中選擇最接近的情緒，例如常見的六種基本情緒。這樣的實驗設計容易導致過度簡化的推論過程，例如看到皺眉就代表傷心，怒瞪著鏡頭就是憤怒等輕率結論。一旦研究人員給予受試者開放式的回答機會時，受試者的回答很可能是六種情緒以外的選項，甚至將同一個表情歸類到多個類別。

文化差異

除此之外，表情的情緒識別似乎也存在著文化差異。一份來自英國格拉斯哥大學的研究先用電腦模擬產生數千種表情，並招募兩群不同文化背景的受試者（分別來自中國與英國），要求他們在觀察這些「虛擬」表情後，選擇出對應的情緒（多於六種選項）。

研究總結了四種──而非過去所認為的六種──表情是跨文化共有的，兩組受試者對於這些表情背後所代表的情緒有著一定程度的共識。即使如此，這些表情（如下表）所對應的情緒卻不唯一：第一個表情普遍解讀為開心，卻也同時被認為代表了驕傲；第三個表情表現出驚訝，但對於中國受試者卻也可能代表害怕。這個研究更廣泛地納入各種情緒用詞，凸顯表情與情緒之間並不是一對一的簡單對應關係，同時也提醒我們必須要考慮不同文化間的差異。

第一欄是肌肉使用度較高的熱區，第二欄則是前述臉部動作編碼系統的運動單元，第三、四欄分別對應了英國與中國受試者所認為與該表情相關的情緒詞彙。(來源：R. Jack et al, 2016.)

參考資料   

1. Barrett, L., Adolphs, R., Marsella, S., Martinez, A., & Pollak, S. (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science In The Public Interest, 20(1), 1-68. doi: 10.1177/1529100619832930
2. Jack, R., Sun, W., Delis, I., Garrod, O., & Schyns, P. (2016). Four not six: Revealing culturally common facial expressions of emotion. Journal Of Experimental Psychology: General, 145(6), 708-730. doi: 10.1037/xge0000162
3. Tian, Y., Kanade, T., & Cohn, J. (2001). Recognizing action units for facial expression analysis. IEEE Transactions On Pattern Analysis And Machine Intelligence, 23(2), 97-115. doi: 10.1109/34.908962

(本文由教育部補助「AI報報─AI科普推廣計畫」執行團隊編譯)