超級智慧

跟教育小孩子一樣，「獎勵」往往是AI進步的動力與目標。然而，若有一個掃地機器人，盡心盡力將家中打掃得一塵不染，卻摔碎了價值千萬的花瓶；或者為了嚐甜頭，機器人把家中所有的灰塵、垃圾都藏進沙發底下，讓人類誤以為任務達成，這樣它們還值得獎勵嗎？又假如很不幸的，這些意外舉動發生在足以操控世界的超級AI (superintelligence)上，後果恐怕難以估量。為今之計，除了大量拓展AI的應用與效率外，如何確保AI在完成任務的過程中不會失控，降低意外發生的風險，顯然是一門相當重要的學問。