大语言模型存在Token数量限制，不应超出该限制（如 GPT-4 Turbo 支持 128K Token）。超出限制会导致截断或报错。

大语言模型存在Token数量限制，不应超出该限制。因此，在分割文本成块时，需要计算好Token的数量。市面上存在多种tokenizer，计算文本token数量时，应使用与语言模型相匹配的tokenizer。