模型的 Token 数量是多少?

在模型训练时，一般会先将文本转换为token，作为模型的输入。相比单词，token通常更短一些。以GPT-3模型为例，一个token相当于0.75个单词，而对于中文而言，一个汉字通常对应两个token。

当前大型语言模型（LLM）的token数量通常在数万级别。例如，GPT-3模型有50257个token，而LLaMA模型则有32000个token。