注意事項
- 每個模型都要先下載對應 tokenizer，下載完成後才可切分。
- 不同模型的切分規則不同，同一段文字的 token 數量可能差很多。
- 長文字會先顯示部分 token 預覽，可再切換顯示更多內容。
使用說明
- 選擇模型（Llama 3.2、Qwen 2.5、Qwen 3.6、Gemma 4）。
- 按「下載」下載該模型 tokenizer（首次需下載一次）。
- 輸入或貼上文字內容，按「重新切分」或直接等待自動更新。
- 在「Token 輸出預覽」查看彩色切分結果，並切換「顯示原始文字 / 顯示 token 文字」。
- 需要更完整資訊時，展開「Token 詳細預覽」查看明細。
這個工具可以做什麼？
當你在寫 prompt、測試 LLM，或觀察不同模型的 tokenizer 行為時，常會想知道一段文字究竟會被切成哪些 token。這個工具可以直接把結果顯示出來，方便你快速比對。
為什麼要看 token 切分？
因為 token 會影響模型可使用的上下文長度，也能幫助你理解 prompt 為什麼變長、某些句子為什麼比較耗 token。知道切分方式後，更容易調整文字內容。
使用情境
- 寫 prompt 前先試算：快速估計 token 成本，避免超過上下文限制。
- 比較模型差異：同一段文字切換 Llama、Qwen、Gemma，比對切分方式。
- 排查異常字元：遇到看起來不直覺的切分時，用詳細預覽檢查 token 組成。
目前支援的版本
目前已支援：
- Llama 3.2
- Qwen 2.5
- Qwen 3.6
- Gemma 4
若文字較長，畫面會先顯示部分 token 預覽，方便閱讀。