从零实现 LLM Training：018. LR Cosine Scheduler
为学习率引入 cosine scheduler，并将调度状态写入 checkpoint。
最新文章
从零实现 LLM Training：017. Save Config to Checkpoint
将模型配置写入 checkpoint，简化加载与推理时的配置管理。
从零实现 LLM Training：016. Multi Doc Dataset
重构 Dataset，支持多文档输入与更合理的切分策略。
从零实现 LLM Training：015. Simple Generate
在完成基础训练后，实现一个最简单的文本生成脚本。
从零实现 LLM Training：014. Use Real Data
将 toy 数据集替换为更真实的文本数据，完善训练链路。