使用說明
- 選擇模型 (現支援Llama 3.2或Qwen 2.5)
- 輸入或貼上文字內容
- 稍等片刻
- 直接查看 token 數量、token id 與切分結果
這個工具可以做什麼？
當你在寫 prompt、測試 LLM，或觀察不同模型的 tokenizer 行為時，常會想知道一段文字究竟會被切成哪些 token。這個工具可以直接把結果顯示出來，方便你快速比對。
為什麼要看 token 切分？
因為 token 會影響模型可使用的上下文長度，也能幫助你理解 prompt 為什麼變長、某些句子為什麼比較耗 token。知道切分方式後，更容易調整文字內容。
目前支援的版本
目前已支援：
- Llama 3.2
- Qwen 2.5
若文字較長，畫面會先顯示部分 token 預覽，方便閱讀。