训练 token 口径¶

训练 token 是最常被比较、也最容易误解的模型数字之一。它只有在 tokenizer、阶段、采样方式和累计规则明确时才有意义。

四个不同对象¶

抓取或采购的数据在清洗、去重和过滤前的规模。它描述候选池，不等于模型实际看过的数据。

可供采样的数据总量。重复采样、课程学习和模态混合都会使实际处理量与语料池大小不同。

每个 batch 中进入模型的 token 之和：

\[ D=\sum_{t=1}^{S}B_tL_t, \]

其中 \(B_t\) 是第 \(t\) 步的全局 batch size，\(L_t\) 是有效序列长度。padding、packing、丢弃样本和动态长度会影响精确值。

如果预训练、持续预训练和多个后训练阶段都披露了处理量，可以写成

\[ D_{\text{exposure}}=D_{\text{pre}}+D_{\text{cpt}}+D_{\text{post}}, \]

但这只是 token 暴露量的工程统计，不代表互不重复的数据规模，也不能把 RL 环境轨迹简单视为与预训练 token 等价的学习信号。

下表只用于展示口径，不构成完整模型排名；核验截至 2026-07-23。

家族	公开处理量	阶段	证据与说明
DeepSeek LLM	2T	预训练	`[D]` 技术报告
DeepSeek-V2	8.1T	预训练	`[D]` 技术报告
DeepSeek-V3	14.8T	预训练	`[D]` 技术报告
Kimi K2	15.5T	预训练	`[D]` 技术报告仓库
Kimi K3	未披露	预训练	`[U]` 官方技术报告披露长度课程，但未给总处理量
Qwen2.5	最多 18T	预训练	`[D]` 官方博客；不同尺寸口径需看模型卡
Qwen3	约 36T	预训练	`[D]` 官方博客
GLM-5	28.5T	base model 全阶段总量	`[D]` 技术报告

这里的“公开”不意味着可直接横向排名。不同 tokenizer 对同一文本产生不同 token 数；代码、数学、中文、图像 token 的比例也改变单位 token 的信息结构。

对 dense Transformer，常用粗略估算为

\[ C\approx 6ND, \]

其中 \(N\) 为参数量，\(D\) 为训练 token 数，常数包含前向与反向计算。MoE 应区分总参数与激活参数，并额外考虑路由、通信和共享模块；混合精度、稀疏性和重计算也使实际 FLOPs 偏离简单公式。

Chinchilla 讨论给定计算预算下参数与数据的配比，但其最优关系受数据质量、重复训练、架构和目标函数影响，不能机械套到所有现代训练配方。

建议保留以下字段：

研究方法见证据与研究方法，结构与数据配比见缩放与计算。