人工智慧運算的最小單位Token

根據知名的AI模型整合平台OpenRouter展示的最新數據顯示，在2026年4月，全球透過該平台調用AI模型的總量約為21兆Token，雖然比上一周減少不少，但長期來看仍有不斷增加的趨勢。各企業也逐漸重視並推動Token的使用，甚至將AI模型的相關應用拓展至海外市場，增進Token出口的機會。輝達執行長在近期的演講與公開行程中，也提及公司內部員工必須有效使用AI技術，若Token的使用量未達標準，對工作效率與競爭力都是嚴重損失。Token為何如此重要，還被視為AI技術的調用計量？本文將為各位介紹Token的本質與應用。

撰文｜穿山甲

輝達執行長日前受訪表示，在人工智慧 (Artificial Intelligence, AI) 的時代裡，優秀的語言能力極為重要，同時工程師也必須盡量用AI技術解決問題，並聲稱一位年薪50萬美元的AI研究員或軟體工程師，每年至少需要花費25萬美元的AI Token在工作上。倘若用不到25萬美元的AI算力，他會感到非常擔憂，假使用量少於5千美元，他則會感到抓狂，這表示員工無法善用AI技術提升工作效率。演講時也曾提到Token工廠的概念，指出以往的資料中心以儲存與計算為主，往後這些資料將轉化為Token，並利用這些Token轉換為具商業價值的生產工廠。Token到底是什麼？能讓世界級公司的執行長如此在意？

AI對自然語言的解析

雖然在各AI網站中都會提到Token，但多未深入解釋，不過仍然可以在OpenAI的支援網頁中看到說明，該網頁解釋到「Token是OpenAI模型處理文字時的基本組成單位」。當我們讀一段文章時，可以從前後文中瞭解到文章想傳達的人物、情境、情感或事物等訊息。然而，有時文章會充斥著許多冗詞贅句或暗喻，讀者想要明白語意還得推敲一番。語文老師常會告訴你，在分秒必爭的考試中，可以先將關鍵詞圈起來幫助你分析。同樣地，若想讓AI模型「讀懂」文章內容，可以用分詞器(Tokenizer)將文章拆分成許多Token，將文章的重點圈起來。Token經常被翻譯成符元或詞元，它可以是一個字首、字根、單字、片語或是常見句子，甚至是標點符號。試卷裡，被你圈出的重點可能只有3至5處，但AI為了讀懂全文，僅一段話就會拆解成許多的Token。例如我們想買手機，想請AI幫忙介紹兩種手機類型的優缺點，會在AI裡輸入：介紹安卓與蘋果手機的優缺點。這句話可能會被拆解成「介紹」、「安卓」、「蘋果」、「手機」、「優缺點」，這幾個Token。雖然我們可以理解這些字詞的意思，但電腦無法理解，唯一能做的就是為這些字詞找出數學關係，賦予這些字詞一個編號，再將編號轉換為向量。下次再遇見這些組合，就會知道他們的距離比較靠近，從而作出回應。

你可能還有點印象，當AI走進大眾視野之時，許多AI網站是不提供中文輸入的，又或者以英文輸入才能獲得比較全面且精確的回覆。這是因為一開始AI的訓練資源以英文為主，後來才漸漸地全面支援中文。這是因為不同語言，拆解Token的方法與數量也會不同。甚至連標點符號或空白也可能讓Token的拆法不同，致使AI的回應發生微妙變化，例如，逗點代表句子結尾，同樣文字後面有沒有接逗點，這會讓AI作出來的詩，有著不同的韻腳。

在拆解方面還有許多的趣聞，例如曾經有一個Token被設置為SolidGoldMagikarp，在某些模型下輸入SolidGoldMagikarp，AI就會崩潰或胡言亂語。這是因為模型在訓練時抓取了國外論壇Reddit的資料，而一位暱稱為SolidGoldMagikarp的用戶非常活躍，導致系統幫他創了一個專屬Token。但模型在後期訓練中沒學過怎麼處理它，導致AI看到這串字就像受詛咒般產生錯誤。早期的AI模型也沒辦法正確地分析單字中的字母數目，例如，草莓的英文strawberry，會被拆解成straw與berry兩個Token，如此AI就可能會數錯單字中字母r的數目。這些都顯示出拆解的方法、定義，以及訓練方式的重要性。

有趣的是字詞往往不只有單一含意，在不同情境下語意可能有所不同，例如許多企業、商店、程式或物品代號會借用水果、動物，甚至電影角色作為名稱，展現幽默並使人產生親切感。上述例句中的「蘋果」，字義為一種水果，但如果「蘋果」與「手機」或是「公司」這類字詞放在一起，AI模型就會動態地調整「蘋果」的向量，拉近「手機」或是「公司」的距離。這項特點讓AI模型可以通過前後文反覆計算，釐清文章中各Token間的複雜關係。

Token的消耗數量

你可能有看過AI提示詞的教學文章，通常文章會建議你說清楚幾個設定：角色、背景、任務與格式等。當你以相似提示詞作過多次詢問，你會發現在新對話中，即便沒有輸入設定，AI也可能將你以前設定過的設定或提問代入，知道你可能的角色、背景或是輸出格式，不用再強調一次。一般而言，AI在分析提問前，會先帶入系統預設的角色與回覆模式等，同時也會翻閱以前的提問資料進一步修正；再來就是分析本系列的對話，將歷史回應加入分析確保在同一個脈絡裡；隨後開始思考，透過計算產生出許多的答案，再從中擇優回應。這些過程雖然不會顯示在檯面上，但同樣會增加Token的計算量。這意味著使用者消耗的Token數量，可不僅限於提示詞中的數量，而使用的Token數量則會影響到使用者該付多少費用。

整體而言，如果AI模型越強大，理解能力越好，能解析更多更複雜的問題，Token的價格也會越高。如果能支援即時的圖片、音訊及影像互動，價格又會再上一級。此外，通常AI回應內容給你的費用會比你輸入內容給AI來得高，也就是輸出的Token定價會比輸入的Token定價貴，一般貴2至6倍左右。這個原因出在計算效率上，輸入的Token可以透過矩陣方式，以圖形處理器(Graphics Processing Unit, GPU)一次性並行運算，GPU的利用率高且效率好。但AI為了讓回應合乎邏輯、條理分明，必須讓Token逐一生成，生成下一個時必須審視之前生成的內容重新計算推理，這會讓GPU的使用效率降低，大部分的時間耗費在等待資料傳輸。占用的這些資源也無法做其它工作，從而讓價格變高。

看了上述的介紹，相信你對Token已經有初步的認識。在未來的世界中，AI就如同生產Token的工廠，如果能準確且低延遲地產生Token，則能有效地將其應用於智慧車輛、工廠、家電以及機器人，使儀器能快速地對各種指令作出反應，並能應付突發狀況，增加生產與工作效率。