運用機器學習從臉部表情判斷學生學習狀態
在COVID-19疫情期間，不少學校開始展開了線上教學，而大規模的線上教學的興起，也讓人意識到了大規模線上教學時所面臨的限制。對於授課教師而言，如何掌握學生的學習進度、課堂參與度以及課程的節奏等等，在遠距授課的情境下，由於無法當面直接觀察學生在課堂上的反應，使得教師在掌握教學節奏和內容時，具有一定程度的挑戰性。
撰文｜王冠云
運用機器學習進行臉部表情判斷
Wang等人 (2025) 的研究為了解決遠距教學無法讓教師與學生面對面的困擾，開發了一個使用網路攝影機 (web camera) 進行臉部表情判讀的系統，應用了機器學習技術，讓學生在執行指定學習任務的同時，電腦一面將學生的臉部表情錄下，藉此判斷學生在學習當下的學習狀態。
在研究中，總共有9位大學生作為實驗參與者，他們必須使用一個研究者設計的網站，該網站中，使用的是語言學奧林匹亞競賽中的試題。該類型試題不需要任何先備知識即可進行作答，但同時，對於新手而言，仍然必須要取得一定程度的提示，才較有可能順利的完成題目。因此，在進行學習任務的過程中，實驗參與者必須保持一定程度的專注度，而當解題時產生困惑時，也預期實驗參與者將表現出尋求幫助的行為。
執行解題的過程全程皆使用網路攝影機記錄，研究者將拍攝到的影片輸入至「OpenFace」進行分析，這是一套奠基於心理學家的臉部動作表情編碼「Facial Action Coding System」所開發出來的臉部表情辨識軟體。在臉部表情動作編碼系統中，將不同的臉部肌肉所表現出來的臉部表情，分別以不同的編號進行編碼，並且將每個基本動作稱之為「動作單元 (Action Unit)」，而OpenFace這套軟體，就是透過網路攝影機以及臉部動作的畫面，以AI的技術分析人臉所呈現出來的動作單元的成分比例，藉以提取臉部表情肌肉變化的數值，且數值皆是奠基於心理學家的基礎理論。
預測專注度和尋求幫助行為的智慧系統
Wang等人 (2025) 的研究所設計的系統，以網頁的形式呈現給參與實驗的解題者。系統中，除了有一道出自於語言學奧林匹亞競賽的語言分析試題之外，為了提供解題者在解題過程中遇到困難時的幫助，也在頁面中設置了一些提示按鈕，若解題者在分析的時候遇到卡關，即可點選提示鍵，尋求可能的幫助。
在研究中，主要透過網路攝影機拍攝的影像分析兩種學習狀態，一種是「專注度」，另一種則是「尋求幫助」的狀態。前者的資料標註 (annotation) 透過四名經過訓練的標註人員進行標註，以行為上的專注作為判斷該解題參與者的專注程度，分為高專注以及低專注組，並且將標註過後的資料提供給AI進行機器學習訓練。後者「尋求幫助」狀態則是以點擊提示鍵的前三秒作為分析用的目標圖像，研究者假設實驗參與者在點擊提示前的臉部表情將呈現出欲取得幫助的樣態，並且將其分類為「工作狀態」以及「尋求幫助狀態」。若能順利以AI模型預測點擊提示鍵的行為，對於未來開發自動化提示以及教學輔助系統將會有非常大的幫助。
Wang等人 (2025) 的研究以機器學習模型「支持向量機 (support vector machine, SVM)」以及「LightGBM」進行資料的訓練以及分類。支持向量機是一項傳統而經典的機器學習模型，已經被大量應用在許多不同的場域，而LightGBM則是一個可以快速進行訓練以及預測的機器學習模型，特點就是它的輕量化，使得它作為即時的預測與訓練具有一定程度的優勢。若是在實務應用方面能夠成功導入臉部表情預測的功能，使用輕量的模型會更具有實務應用的可能性，且能優化現有的技術。
研究結果發現，LightGBM可以更有效的分類出高專注度以及低專注度的臉部表情，在尋求幫助的臉部表情狀態部分，LightGBM也能有效的分類。在分類的準確度的表現上，皆超過70%，若使用不同的機器學習分類特徵，甚至能將準確度的表現提升得更好，超越90%。
另一方面，研究者也使用SHAP分析來研究各個不同臉部表情特徵的重要程度，如此針對AI模型的可解釋性，也提供了值得後續研究參考與驗證的數值。例如，研究發現動作單元編碼為「AU04（皺眉）」以及「AU23（嘴唇收緊）」的臉部表情不論在預測專注度或是預測尋求幫助行為時，皆有較高的重要度。
未來研究應用
不過，Wang等人 (2025) 提醒，目前的研究以日本人參與者為主，面對不同文化的參與者，在學習以及完成學習任務時的表情，可能也會有若干文化差異。另外，研究執行期間在於COVID-19疫情期間，受制於疫情，參與者的數量較少，對於大量的訓練後可能產生的結果，可能也會和當前的結果產生不同。
然而，該研究探索了人類臉部表情在執行學習任務時不同學習狀態的變化，對於後續發展智慧教學輔助系統方面，提供了一項值得參考的實證研究資料。若能有效地透過AI模型分析學生的臉部表情、學習狀態，甚至能夠提前預測學生尋求幫助的意圖時，對於未來開發AI家教也提供了一個很好的出發點，能夠使得AI系統更具備如同真人老師班的教學功能。如此一來，不只能輔助教師教學，在遠距學習的情境之下，也有可能被大規模應用，而學生也能進行更加個人化與適性化的學習。
參考文獻
- Wang, G., Hatori, Y., Sato, Y., Tseng, C., & Shioiri, S. (2025). Predicting learners' engagement and help-seeking behaviors in an e-learning environment by using facial and head pose features. Computers and Education: Artificial Intelligence, 8, 100387.
- Facial Action Coding System