LLM vs 搜尋引擎：認知負荷與學習深度
大型語言模型 (LLM) 的出現方便了我們的生活，查找資料的方式從最傳統的上圖書館翻紙本資料，到上網搜尋關鍵字，又演進到了現在只要開口詢問智慧管家、大型語言模型，它們就能快速將答案呈現給我們。雖然這幫我們省下了許多時間，但這件事在學習成果上面是否會有影響呢？這影響是好是壞呢？德國慕尼黑大學Stadler等人的研究團隊為了探討這個問題，便設計了一個相關實驗，觀察大學生們分別使用搜尋引擎和LLM來解決問題後，學習成果的表現究竟如何。
撰文｜王冠云
大語言模型 (LLM) 的出現，給我們的生活帶來了許多便利。有些人甚至已經不再使用搜尋引擎找答案，而改由透過對話的方式，以大語言模型來找問題的解方。但是，就學習效果而言，使用如Google一樣的搜尋引擎，或者是使用如ChatGPT這樣大語言模型，會不會有不同的學習成果差異呢？
德國慕尼黑大學的研究團隊，Stadler等人 (2024) 就進行了這樣的研究，他們想知使用LLM對於認知負荷 (cognitive load) 和學習成果的影響，於是找了91位大學生，分別使用ChatGPT大語言模型，或是Google搜尋引擎，完成一個關於防曬霜中的奈米粒子議題的任務。
什麼是認知負荷？
根據認知負荷理論 (Cognitive Load Theory, CLT)，人類在學習時的工作記憶的容量是有限的，而進行學習活動時，會消耗一定的認知資源，而這個消耗認知資源帶來的負擔，即被稱為認知負荷。認知負荷有三種類型，分別為外部認知負荷 (extraneous, ECL)、內部認知負荷 (intrinsic, ICL)、增生認知負荷 (germane, GCL)。不同的認知負荷類型會透過不同的方式影響學習
外部認知負荷指的是向學習者呈現資訊的方式所施加的負荷，例如，在使用搜尋引擎的情況之下，通常會在查詢資料的同時，也出現了很多與議題本身相關或不相關的資料，這些訊息呈現的方式，就是一種認知負荷。而內在認知負荷則是和材料本身的複雜度有直接的相關，例如，如果查詢到的資料並不直接呈現需要的答案，或者材料具有互動性，需要進行整合等等，那麼這就是屬於高內在認知負荷的資訊。
另外，增生認知負荷則是指的是學習者主動處理和自動化的基模 (schema) 建立。以網路搜尋的角度來說，這指的是學習者投入於增強他們的理解和知識建構的過程，所以，當投入於建構知識的資源也多，也就表示有越高的增生認知負荷。
搜尋引擎和LLM的大不同
從資訊取得方式來進行比較的話，搜尋引擎是藉由使用者輸入關鍵字，來進行查詢，並且由搜尋引擎提供各個可能符合答案的網頁給予使用者。而LLM則是透過「理解」人類語言的意圖之後，利用其預先學習的龐大知識庫的內容，來直接以自然語言來提供使用者所需要的問題的答案。
也就是說，就認知資源理論的角度來看，透過搜尋引擎來建構、學習新的知識，理論上會消耗比較多的認知負荷；相反的，使用LLM則是比較能降低認知負荷。而為了驗證這個論點，Stadler等人 (2024) 的研究想瞭解學生在使用網路搜尋引擎或LLM的時候，在外在、內在以及增生認知負荷方面是否有表現出差異，並且也驗證學習效果方面的差異。
兩組學生大比拚：搜尋引擎 vs LLM
研究團隊總共招募了97位學生，隨機分配到「搜尋引擎」組或是「LLM」組。指定給學生的任務是要在20分鐘內，解決一位名叫「保羅」的虛構朋友對於防曬霜的問題，保羅想知道使用礦物奈米顆粒防曬霜的優缺點，是否會對健康有風險。
針對保羅的問題，搜尋引擎組的學生使用Google來查相關資料，LLM組的學生則是利用與ChatGPT對話來完成任務，參與實驗的學生必須提供一份寫有理由的書面建議。除了給保羅的建議之外，學生還需要填寫一份專門測量認知負荷的問卷，並且回答與奈米技術有關的問題。
研究結果指出，使用LLM的學生比起使用搜尋引擎學生所產生的認知負荷要低很多。其中，增生認知負荷的差異最大，畢竟LLM能夠提供學生直接又簡潔的答案，可以減輕學生的認知負荷。不過，使用LLM的學生所提供的答案品質較低。以認知負荷理論來解釋的話，通常在認知負荷由大減少到小的這個過程，可以透過釋放資源來增進學習，所以，雖然學習時的認知負荷較低，可以讓資訊更容易理解，但是卻較為沒有辦法參與更具有深度的學習歷程。
另外，從外在認知負荷的層面來看，包含了與資訊的互動性，而與資訊互動的過程本身，也是理解與處理學習材料的一環，能幫助學生理解更複雜的論點。Stadler等人 (2024) 指出，使用LLM在認知上沒有足夠的挑戰性，可能也因此妨礙了學生學習的深度。
不過，要提醒讀者的是，雖然LLM在資訊獲取上提供了便利，而且在時間方面，可能可以更快速而有效率地提供資訊，但在促進學生的批判性思維和深度學習方面，使用搜尋引擎仍然具有其價值，尤其是可以針對不同的資訊來源，進行取捨和判斷，在這個過程就有了批判性思考的訓練。而Stadler等人 (2024) 強調，研究進行缺少了「放聲思考」的指示，所以實際上學生們在進行實驗任務時，如何思考、消化、吸收並且產出問題的答案，並沒有辦法很深入地探究。而實驗樣本的大小，可能也會影響到這篇研究可以推論的範圍，仍然需要更多的研究調查來探索新興數位工具的學習對於學生的影響。
參考文獻
- Stadler, M., Bannert, M., & Sailer, M. (2024). Cognitive ease at a cost: LLMs reduce mental effort but compromise depth in student scientific inquiry. Computers in Human Behavior, 160, 108386.
- 國家教育研究院電子報，第92期：科技是發展還是阻礙學生學習？—「國際認知負荷理論工作坊」側寫