从零实现 LLM Training：013. Eval and Logging
加入验证集评估和日志记录，用 loss 与 PPL 监控训练效果。
最新文章
从零实现 LLM Training：012. Argparse
为训练脚本引入 argparse 命令行参数，向工业级实现迈进。
从零实现 LLM Training：011. Checkpoints
为训练过程加入 checkpoint 容错机制，支持从中间状态恢复。
从零实现 LLM Training：010. Mixed Precision
在完成张量并行后，引入混合精度训练以提高算力利用率。
从零实现 LLM Training：009. True Tensor Parallel for Attention
通过按 head 维度切分 QKV，让 Attention 形成真正的张量并行。