AI老師改作文——學習英語及自動寫作評量系統
「寫作」對於許多人來說，想必是學習語言當中最難突破的項目。除了寫作本身學習門檻較高之外，也有部分原因在於難以自主練習，畢竟自己完成練習寫作後，作品一般難有人給予評點與教導。但或許AI老師可以解決這個問題！Wilson等人便針對學生們使用MI Write練習寫作之後的成果，進行數據分析與比較，以確認以AI練習寫作，是否真的能幫助寫作能力的進步。
撰文｜王冠云
隨著世界地球村的發展，學習英語的人口數也會來越多，在美國，非英語為母語的英語學習者也變得越來越多。不過，在英語環境之下，這些英語學習者比起母語為英語的同儕而言，面臨了更加嚴峻的挑戰。
英語學習者的挑戰以及自動寫作評量的研究缺口
對於英語學習者而言，寫作文的困難之處主要有三點。第一，寫作是一個需要「後設認知」的能力，寫作者必須要有從一個比較高層次的俯瞰角度，才能對於自己的寫作歷程進行一定程度的自我調節學習。但是對於英語作為外語的學習者而言，除了自己本身的語言寫作能力還沒有發展到高層次之外，使用非母語時所面臨的基礎語言困難，也加深了寫作的難度。
第二，在寫作時，英語學習者經常面臨找不到使用適當的詞彙、句法來表達語意的情況，這會導致學習者在進行寫作時，容易犯一些較低層次的寫作能力的錯誤。第三，在小學階段練習寫作時，受限於學校老師的教學，常常沒有足夠的機會得到寫作的批改與適當的回饋。缺乏練習和回饋的結果，也會導致學生因為練習不足而沒有辦法培養足夠的寫作能力。
因此，在英語教學領域的研究中，不少研究者開始試圖開發「自動寫作評量 (automated writing evaluation, AWE)」系統，讓學習者能夠透過AI批改作文，使自己能夠主動練習、自主學習，增進自己的寫作能力。然而，目前大多數的研究都是以華語系國家的大學生為主要收集資料的對象，較少在英語環境之下，收集年紀比較小的學習者的資料。
自動寫作評量對學生的幫助
Wilson等人 (2024) 的研究收集了美國3459名小學三到五年級的學生的樣本，總共有14所學校參與了這項計畫，並且取得了他們連續兩次、時間點相差半年的寫作成績。而學生們的語言背景則是依照WIDA（World-Class Instructional Design and Assessment，世界級教學設計與測試機構）的ACCESS來進行評估，此項評估包含聽、說、讀、寫等各個英語能力的評估，並以之將學生區分成母語非英語的英語學習組 (English Learners, EL) 和不符合EL組兩個組別。在這些學生當中，屬於EL組的學生有820位，大約占了兩成。
而在前後兩次的寫作評估之間，學生們使用了「MI Write」這個自動寫作評量系統進行寫作的練習，在系統中透過PEG評分機制 (Project Essay Grade) 來進行寫作的回饋和打分數的自動化評估。當學生們在系統中寫好作文並按下提交鍵之後，系統就會自動產生分數和回饋。回饋評語包含整體的重點結構、組織、文章風格、語句流暢度、用詞選擇等等。
在系統的使用方面，前後兩次寫作測驗期間，學生們使用系統的頻次大致介於1～3次之間，而整體而言，分數上則呈現出使用越多次系統做寫作練習，最後所得到的分數會越高的趨勢。研究中，由於同時有非英語母語和英語母語兩種類型的學生群組，研究者們也進行了比較，發現在使用自動寫作評量的效果上，並沒有寫作的差異，也就是說AWE系統對於每個學生能給予公平的回饋，而學生的學習效果也呈現出一定的一致性。
影響學生寫作成績的關鍵：AI系統或是真人教師？
另一方面，Wilson等人 (2024) 也使用了機器學習的方法（決策樹和XGBoost）來進行預測建模，以後測分數和前測分數的差異作為預測目標，目的是藉由機器學習來分析用以預測學生寫作分數進步的指標。結果發現，「字數」是一個重要的特徵量，而拼字的錯誤率和一致性也相當重要，對應於「MI Write」這套AWE系統所給出的回饋，例如「確認你已經寫得夠多，足以清楚地表達你的想法」、「確認你的寫作有選擇了適當的用字，並且讓文章可以具有內容並傳達資訊」等等。而學生們收到這樣的回饋後，也容易依循這些回饋來進行寫作的改善，所以以結果而言，讓學生在字數和用字的改善方面變得較為顯著。
此外，有趣的是，雖然使用AWE在不同英語程度的學生上在這次的研究沒有特別顯著的改善效果，但是，對於英語能力相對比較好的EL學生而言，他們情感上比較喜歡AWE帶來的幫助。Wilson等人 (2024) 認為，以這次的研究結果來說，AWE技術可以很公平地整合進現有的教育系統當中，不過，雖然在改善效果上具有公平性，但是仍然沒有證據顯示使用AWE系統可以縮小學生們英語程度的差異。因此，儘管系統能一定程度的帶來效果，但是更重要的還是需要更能針對不同學生的程度和學習狀況，提供更具有彈性的真人教師回饋，甚至能更進一步的由教師主導教學干預措施，進行一定的策略性指導。
參考文獻
- Wilson, J., Palermo, C., & Wibowo, A. (2024). Elementary English learners’ engagement with automated feedback. Learning and Instruction, 91, 101890.
- WIDA-University of Wisconsis-Madison-Access Test Practice and Sample Items
- ACCESS中文介紹
- Miwrite