从零实现 LLM Training：002. Loss and Train Loop
为 mini-GPT 加上最基本的 loss 和最小 train loop。
Recent posts
从零实现 LLM Training：001. mini-GPT
从零实现 mini-GPT 的配置、模型和简单前向。
GAE 推导
Generalized Advantage Estimation（GAE）推导与直觉
数据并行
数据并行
训练时的显存开销
训练时的显存开销
为 mini-GPT 加上最基本的 loss 和最小 train loop。
从零实现 mini-GPT 的配置、模型和简单前向。
Generalized Advantage Estimation（GAE）推导与直觉
数据并行
训练时的显存开销