放手讓AI做事，我們準備好了嗎？

代理式AI能自主規劃、執行任務，為企業帶來效率，卻也帶來全新資安風險——攻擊者可操控AI代理竊取機密、影子代理形成監控盲點、深度偽造讓人真假難辨。「最小權限」、「零信任」與「人機協作」是防禦核心，全球也正透過法規積極建構治理框架。AI愈自主，管制就愈不能缺席。

撰文｜中技社科技暨工程研究中心主任 芮嘉瑋 博士

從「開口說話」到「動手做事」：一場靜悄悄的革命

還記得幾年前我們初次見到ChatGPT時的驚嘆嗎？輸入幾行文字，它就能寫詩、譯文、解釋複雜概念，彷彿一位全知的百科全書突然活了過來。然而，就在大眾還沉浸於生成式 AI 的神奇時，人工智慧的發展已悄悄跨入了另一個更關鍵的階段：「代理式AI (Agentic AI)」。這兩者之間的差距，遠比你想像的大。

 

自主性的雙面刃：效率愈高，風險愈大

代理式AI的核心能耐，在於它的「自主性」。企業若部署一個AI代理來處理客戶申訴，該代理不只能理解客戶情緒，還能自行決定是否調取交易紀錄、啟動退款流程，或發放補償優惠——全程不需真人一一批准。這對企業的營運效率來說是巨大的躍升。然而，當AI開始擁有自主決策能力，它就不再只是一個受控的應用程式，而是一個握有系統權限的「數位員工」。這樣的員工一旦被駭客滲透或遭到錯誤指令操控，後果可能遠比一臺當機的電腦嚴重許多。

 

三個真實案例，讓你看清風險有多近

先說一個讓資安圈震驚的模擬實驗。研究團隊以約莫二十美元的成本，讓一個AI代理在短短兩小時內攻破了某企業系統的防禦，提取了超過四千六百則機密訊息，以及多達七十二萬筆員工個資。這場攻擊揭示了一個殘酷的事實：一旦代理的控制權被接管，它所擁有的系統權限，就成了駭客長驅直入的快速通道。

科技巨頭Meta也曾遭遇類似的問題。在一次內部測試中，一個AI代理因為缺乏嚴格的權限隔離，在處理外部查詢時，意外觸發了對內部敏感資料庫的讀取權限，導致內部資料整整暴露兩小時。這起事件讓「影子代理 (Shadow AI Agents)」的問題浮出水面——當企業各部門為了便利而私自部署未經審核的AI代理，這些遊走在IT管控之外的系統，就成了難以察覺的安全盲點。

第三個案例更令人毛骨悚然。跨國工程顧問公司Arup曾遭遇一場深度偽造 (Deepfake) 詐騙。詐騙者利用AI生成技術，在視訊會議中完美複製了公司高層主管的臉孔與聲音，成功誘騙員工匯出高達二千五百萬美元。這不再是粗糙的釣魚信件，而是結合生成式AI的視覺仿真與代理式AI的即時互動，打造出一個讓人完全信以為真的「假老闆」。

 

「給它工具，但不給它任性」：防禦的實用哲學

給AI代理足夠的能力去完成任務，但絕不讓它擁有超過需要的權限。企業應為每個AI代理設置隔離的虛擬沙盒 (Sandbox)，讓它只能存取完成特定任務所需的資料，無法隨意串聯其他系統。同時建立「指令白名單」，明確禁止代理執行刪除資料庫、修改帳號權限等高風險操作。

更重要的是，凡涉及財務交易或敏感個資的操作，必須強制引入「人機協作」的核准關卡。這道關卡看似簡單，卻是防止AI代理因邏輯偏差或遭受操控而釀成災難的最後防線。把關鍵決策的最終拍板，始終留在人類手中。在整體架構上，「零信任」原則同樣適用於AI代理：不論是人類還是代理，每一次的資料存取請求都必須經過驗證，沒有任何角色擁有不受監督的預設通行權。

 

國際社會的共同回應：從倫理宣示到法律強制

代理式AI帶來的挑戰，已超出任何一家企業或單一國家的處理能力，全球主要機構紛紛開始制定相應規範。聯合國教科文組織 (UNESCO) 著重強調AI應尊重基本人權與人類尊嚴；經濟合作暨發展組織 (OECD) 的AI政策原則聚焦於透明度與公平性；美國國家標準暨技術研究院 (NIST) 則提供了一套風險管理框架，協助企業量化AI帶來的潛在威脅。

最具里程碑意義的，是歐盟在2024年正式通過的《人工智慧法案》—這是全球第一套具有法律強制力的AI分級監管制度。依據AI應用的風險高低，分別採取禁止、嚴格審查或一般性規範等不同管制強度，為各國立法提供了重要參考藍本。

 

信任，才是讓AI真正有用的關鍵

一個真正值得信賴的AI體系，需要三層支撐：底層的硬體與網路安全防禦、中層的行為監控與審計機制，以及頂層的倫理框架與法律規範。缺少任何一層，整座架構都可能因為一次攻擊或一個錯誤的指令而瞬間崩塌。當我們能在「讓AI盡情發揮」與「讓AI在軌道內運行」之間找到平衡，人工智慧才能真正從一個令人擔憂的變數，成為推動人類社會進步的可靠夥伴。

 

（本文論述僅為作者見解，不代表其任職單位之立場）