Excel數字轉文本格式詳解
1354
2023-11-18
在計算機科學領域，Token是一個廣泛使用的概念。比如在計算機編程和數據處理中，Token通常是指一系列字符序列，代表著語言中的基本單元。而在ChatGPT中，Token通常指的是響應請求所需的最小文本單位。本文綠夏SEO詳細介紹下Token是什么意思？ChatGPT如何計算Token數？
一、Token是什么意思
Token在不同的使用環境下代表不同的意思，以下是三個常見環境的解釋：
1、計算機編程和數據處理
Token在計算機身份認證中被稱為"令牌"，在詞法分析中是標記的意思。一般作為邀請、登錄系統使用。我們可以把Token理解為一種暗號，在進行數據傳輸之前，需要先確認這個暗號。不同的暗號被賦予不同的數據操作權限。這就是基于Token的身份認證方法。
在使用基于Token的身份認證時，服務器無需保存用戶的登錄記錄。大概的流程如下：
① 客戶端使用用戶名和密碼請求登錄。
② 服務端接收請求，然后對用戶名和密碼進行驗證。
③ 驗證通過后，服務端會簽發一個Token，然后將此Token發送給客戶端。
④ 客戶端收到Token后，可以將其儲存，例如保存在Cookie中或者LocalStorage中。
⑤ 每次客戶端向服務端請求資源時，需要帶上由服務端簽發的Token。
⑥ 服務端接收到請求后，會驗證客戶端請求中的Token。如果驗證通過，便會向客戶端返回所請求的數據。
2、ChatGPT中的Token（字節）
在ChatGPT中，Token通常代表最小的文本單元，用于響應請求。每個Token的長度單位為1，這是由模型的開發者在訓練和開發模型時所確定的，一般不需要用戶進行額外設置。
計算ChatGPT的Token數量時，會同時計算用戶的對話請求和模型返回的內容數量，這樣可以確定在整個請求-響應交互過程中所消耗的Token數量。這個數量可能會受到模型特性、API參數設置等因素的影響，因此會根據實際情況進行調整。
3、區塊鏈中的Token
區塊鏈中的Token是一種通證，意思是可流通的加密數字權益證明。這代表權益和價值，由基于區塊鏈的項目發行，它可以作為生態系統內的一種支付方式，同時Token還賦予持有人可以參與網絡的權利，并且Token還可以執行數字資產的功能或代表公司股份。
二、ChatGPT如何計算Token
Token是語言文本的基本單位，它用來計算ChatGPT這種生成式AI語言模型（Generative AI models）可以產出的字數。OpenAI的每個模型都有Token限制，需要在將字符串傳遞給API之前計算字符串中的Token數量，以確保不超過限制。
OpenAI的API定價是基于Token的，Token是用于自然語言處理的詞的片段。對于英文文本，1個Token大約是4個英文字母或0.75個單詞。你的請求的Token數是由你的提示詞和你請求的回復長度決定的。通常1000個Token約等于750個英文單詞或者400～500個漢字。
每個GPT模型都有一個預設的最大Token數量。例如：GPT-3每次調用允許處理的最大Token數量約為4096。GPT-4則允許處理3萬多個Token， 這個數量包括用戶輸入和GPT輸出的所有Token。
PS：分享一個免費統計Token數量的網址：gpttools.com/estimator。
三、ChatGPT的Token計費規則（以GPT-3.5-Turbo為例）
GPT-3.5價格非常便宜，1000個token的價格是0.002美元，換算成人民幣1000個字的問答所消耗的費用2-3分錢，而GPT-4的價格比GPT-3最高貴了近6倍，1000個字約2角錢。
● 英文約等于75個英文 = 100個token（包含標點符號）
● 中文約等于44個漢字 = 100個token（包含標點符號）
其中空格和換行為一個Token。按0.002美元/1000個Token算，如果每個對話Token返回長度都為1000（400～500字），5美元可以請求2500次，120美金的KEY差不多有60000次。
