大模型处理文本的最小单位，约等于 0.7 个英文单词或 1-2 个中文字。
👁️ 34 次浏览 · 📅 2026-08-29
Token 是大模型处理文本的最小单位。模型不直接处理字符，而是先把文本切成一个个 token，再转成向量计算。