从零实现 LLM Training：022. FineWebNPYDataset
引入 FineWebNPYDataset 数据集 class。
Recent posts
从零实现 LLM Training：021. WandB
使用 WandB 记录训练过程，方便后续分析。
从零实现 LLM Training：020. PyTorch Profiler and NVTX
使用 PyTorch profiler 与 NVTX 捕捉 trace，深入分析训练性能瓶颈。
从零实现 LLM Training：019. Activation Checkpoint
通过 activation checkpointing 以重计算换显存，优化大模型训练。
从零实现 LLM Training：018. LR Cosine Scheduler
为学习率引入 cosine scheduler，并将调度状态写入 checkpoint。