人類要擔心機器人太聰明？

撰文／Stuart Russell｜譯者／周坤毅
轉載自《科學人》2016年7月第173期

電影常有機器人大軍企圖殲滅人類的情節，專家說，免驚啦！但如果人類掉以輕心，未來可能會與執意完成任務的智慧機器發生衝突。

我們很難不擔心，創造出比人類更聰明的機器可能會產生問題。畢竟如果當初是大猩猩意外創造了人類，現在這種瀕臨滅絕的靈長類大概會後悔曾這麼做。但為何先進的人工智慧（AI）可能造成麻煩？好萊塢電影中邪惡的機器突然覺醒並指揮機器大軍屠殺人類的情節實在太扯，真正的問題是AI變得超級聰明，但其目標並非我們想要的。創立控制論的數學家維納（Norbert Wiener）在1960年說：「如果無法有效干預執行特定任務的機器，那最好確定當初交付它的目標是我們想要的。」

執意完成任務的機器還具有一種特性：試圖維護自身的存在。這是生物的本性，但機器有這種特性既非與生俱來，也非人類所賦予，而是簡單邏輯演算的結果：如果機器壞掉了，便無法達成原本設定的任務。如果我們單純派機器人去拿咖啡，它可能會有強烈的動機去破壞使自己停止的開關，甚至消滅任何妨礙它的人，以確保能成功完成任務。因此如果人類掉以輕心，未來可能會與執意完成任務的智慧機器發生衝突。

人類可能與機器發生衝突而成為輸家，這項隱憂讓電腦科學家寢食難安。有些研究人員建議我們不妨把機器鎖在某種防火牆內，需要時再利用它來回答困難的問題，但絕不允許機器影響真實世界。（當然，這就意味我們必須放棄擁有超級聰明的機器人！）不幸的是這項計畫註定會失敗，畢竟我們連建立阻擋一般人的防火牆都做不到，遑論超級聰明的機器了。

但如果我們記取維納的警告，設計出任務目標與人類一致的AI系統呢？這種想法說得比做得容易。畢竟在神燈精靈與三個願望的故事中，許願者最後一個願望通常是設法復原前兩個願望帶來的問題。但我相信如果遵守以下三項核心原則，便有可能成功：

• 機器的任務目標必須是實現人類的價值觀。特別是機器不會擁有自己的目標，或自我防護的欲望。
• 機器不能完全確知人類真正的價值觀為何。這是避免維納難題的關鍵。機器能學習越來越多的人類價值觀，但永遠無法完全確知人類真正的價值觀為何。
• 機器必須藉由觀察人類的選擇來學習人類價值觀。

前兩項原則乍看違反直覺，但能避免機器產生強烈動機去破壞其停止開關。機器知道它必須澈底實現人類的價值觀，但無法確知人類的價值觀為何，因此能理解人類關掉它其實是好的，可以防止它做出違反人類價值觀的行為。正因為機器永遠無法確知人類的價值觀，因此具有不會破壞其停止開關的正向動機。

第三項原則借用自人工智慧學的分支，稱為逆向增強學習法（IRL）：藉由觀察特定對象（不論是人類、狗或蟑螂）的行為得知事物對被觀察對象的價值，例如觀察人類在早晨習慣喝咖啡，機器人知道咖啡對人類的價值。這個領域還處於發展初期，但已產生許多實用的演算法，並展現設計智慧機器的潛力。

隨著IRL發展，機器必須有能力去應付人類的不理性、前後矛盾、意志薄弱以及有限的計算能力等特質，畢竟人類的行為並非總是反映其價值觀。此外，人類的價值觀相當多元，這意味機器人必須審慎處理人與人之間的潛在衝突與利弊權衡，還有不該幫助甚至模仿少數邪惡的人。

儘管存在這些難題，我相信機器能學到足夠的人類價值觀，因此不會對我們構成危險。除了直接觀察人類行為，機器還能從大量書籍與影片中學習人類如何處理事情以及與他人互動。設計出理解這些訊息的演算法，遠比設計超級聰明的機器容易。此外，機器人製造商也有強烈的經濟動機去讓機器人了解並認同人類的價值觀：如果設計不良的家務機器人，因為不了解貓咪對人類的情感價值勝過其營養價值，而把牠煮了當晚餐，製造商肯定會關門大吉。

雖然解決AI的安全問題並不容易，但仍有可能做到。儘管超級聰明的機器數十年後才會出現，但這個問題不容忽視。有些AI專家認為，只要人類與機器分工合作，便能和平共處，但前提是機器與人類的目標必須一致；其他人則認為直接把機器關掉就好，彷彿超級聰明的機器笨到不會想到這招；還有人覺得超級聰明的AI永遠不會出現。1933年9月11日，知名物理學家拉塞福（Ernest Rutherford）信心滿滿表示：「預期我們將擁有改變原子的能量，那是癡人說夢。」然而，就在隔天（9月12日），物理學家西拉德（Leo Szilard）便成功以中子誘發核能連鎖反應。

(本文由教育部補助「AI報報─AI科普推廣計畫」取得網路轉載授權)