从零实现 LLM Training：003. Simple DDP
使用 PyTorch DDP 实现最简单的数据并行训练。
最新文章
从零实现 LLM Training：002. Loss and Train Loop
为 mini-GPT 加上最基本的 loss 和最小 train loop。
从零实现 LLM Training：001. mini-GPT
从零实现 mini-GPT 的配置、模型和简单前向。
GAE 推导
Generalized Advantage Estimation（GAE）推导与直觉
数据并行
数据并行