从零实现 LLM Training：010. Mixed Precision
在完成张量并行后，引入混合精度训练以提高算力利用率。
Recent posts
从零实现 LLM Training：009. True Tensor Parallel for Attention
通过按 head 维度切分 QKV，让 Attention 形成真正的张量并行。
从零实现 LLM Training：008. Use Row Parallel for Attention
将 Row Parallel Linear 引入 Attention 层，搭配 Column Parallel 完成张量并行。
从零实现 LLM Training：007. Use Row Parallel for FFN
把 Row Parallel Linear 引入 FFN 模块，配合 Column Parallel 完成张量并行。
从零实现 LLM Training：006. Row Parallel
在已有 Column Parallel 基础上实现 Row Parallel Linear。