跳转至

学习路线

LLM 横跨统计学习、模型结构、分布式系统和交互环境。先建立一条共同因果链，再沿问题深入；论文、框架和模型发布都放回这条链中理解。

共同主线

  1. 表示与目标：从语言建模、分词和概率、损失与梯度理解 token 条件概率与训练目标。
  2. 基本计算图：推导 Transformer、Decoder Block、位置编码和注意力家族。
  3. 数据到梯度：连接来源谱系、过滤去重、混合课程与序列构造。
  4. 训练到行为：依次阅读预训练、SFT 和蒸馏，再从强化学习理解反馈怎样改变策略分布。
  5. 计算到系统：用性能成本模型连接数值精度、GPU 执行、集合通信与模型并行。
  6. checkpoint 到服务：从解码、KV Cache 进入运行时、调度与 Goodput、量化和 P/D 分离。
  7. 外部知识与行动：学习索引与召回、重排与上下文、证据约束生成、工具调用和智能体运行时。
  8. 推理与反馈：区分推理时计算、搜索与验证、RLHF / RLAIF / RLVR、推理后训练与 Agentic RL。
  9. 评测与边界：最后用评测协议、统计推断、校准、安全评测验证整条链。

共同主线的最低实践是完成手撕 Decoder-only Transformer、训练目标与评测工具中的核心不变量。

沿历史脉络建立直觉

共同主线告诉你今天的系统由哪些对象组成，技术谱系解释这些对象为什么会变成今天的样子。第一次阅读可以穿插五次转折：

  1. 计数、连续表示与可学习状态；
  2. 固定向量、神经对齐与 self-attention；
  3. 预训练目标、规模规律与上下文适应；
  4. 指令、偏好与在线学习、推理与可验证搜索；
  5. 分布式训练与推理运行时怎样把算法变成可运行系统。

每条谱系都连接关键工作深读和现代机制页。先看矛盾怎样移动，再阅读论文细节，会比孤立记忆模型名称更容易判断新工作究竟改变了什么。

若要练习“完整读一份现代技术报告”，可从 GLM 演化确定版本边界，再沿 GLM-5 总深读进入架构、异步 RL 系统和可执行环境，最后用引用图谱反查每个机制从哪里来、报告证据最远能支持什么。

深入路径

模型结构与算法

阅读顺序：

  1. 注意力家族与位置编码；
  2. 长上下文与记忆架构；
  3. MoE 与状态空间、线性注意力；
  4. 缩放与实验设计；
  5. 张量原语、递推与记忆。

每种结构都回答：它改变了什么状态与归纳偏置，计算图和复杂度怎样变化，收益在哪些数据、长度与硬件条件下成立。

训练系统

从性能成本模型建立 FLOPs、bytes、通信与峰值显存账本，再读：

  1. 数值精度与低精度计算；
  2. GPU 执行模型与 Attention Kernel；
  3. 集合通信与状态分片；
  4. TP、PP、CP 与 EP 和 MoE 系统；
  5. 检查点与容错及系统韧性；
  6. 分布式与容错实现。

目标是能从 tensor shape、dtype、placement 和 topology 推导通信量、临时状态与失败边界，而不是记并行缩写。

推理与 AI Infra

先区分 prefill 与 decode 的 shape 和瓶颈，再沿：

  1. KV Cache 与缓存复用；
  2. 推理运行时与调度、Goodput；
  3. 量化与推测解码；
  4. Prefill–Decode 分离；
  5. 推理基准与可靠性和推理引擎实现。

评价方案时同时报告 TTFT、TPOT、尾延迟、Goodput、显存、质量、成本与失败状态。

应用与智能体

先把检索增强拆成索引召回、重排上下文与证据约束生成，再进入：

  1. 工具调用；
  2. 记忆与规划；
  3. 智能体运行时与安全；
  4. Coding Agent；
  5. Agent 与工具评测；
  6. Agentic RL 轨迹契约和训练系统。

始终分开模型输出、外部证据、工具权限、环境终态和未授权副作用。

强化学习与 LLM 后训练

先把“反馈是什么”“数据从哪里来”和“怎样更新策略”拆开，再沿六步深入：

  1. 从 MDP、POMDP 与回报进入价值与 Bellman、Monte Carlo 与 TD；
  2. 用 Policy Gradient、Actor–Critic、GAE、TRPO 和 PPO 建立策略优化主线；
  3. 将语言模型重新写成策略，阅读动作尺度、KL 正则化控制、反馈制度与 RLHF 数据闭环；
  4. 通过推理 RL 配方地图比较无 critic baseline、GRPO、DAPO 与 VAPO；
  5. 再拆开 Ratio、Clipping 与 Gate、训推分布与策略滞后和在线 RL；
  6. 最后处理语言模型信用分配、异步 off-policy 校正、Agentic RL 和实验诊断。

配套的手撕强化学习固定经典 return、TD、trace、policy gradient 与 off-policy 语义；手撕 LLM 策略优化固定 packed GAE、PPO、GRPO、DAPO、VAPO、GSPO、SAPO 与 DIS。算法名称相同而 action mask、归一化分母、behavior policy 或终止规则不同，不能视为同一实验。

多模态

先把原始信号怎样进入模型讲清，再沿理解、生成和实时交互分流：

  1. 从信号、表示与 Token 化进入对齐、桥接与融合，同时固定空间、时间、位置与 Mask；
  2. 视觉侧依次阅读视觉表示、感知与 Grounding、视觉语言模型和空间智能与三维表示；
  3. 生成侧从图像生成总览进入视觉 Tokenizer、Diffusion 与 Score、DiT 与 Flow；
  4. 连续媒体分别阅读音频表示与理解、音频生成与流式、视频理解与长程记忆和视频生成；
  5. 最后用统一理解与生成与 Any-to-Any 系统连接多输入、多输出和实时状态。

实现与验证沿多模态原语和多模态评测回查。

世界模型与具身智能

这条路线把媒体预测推进到动作条件与闭环决策：

  1. 先用世界模型总览区分 latent dynamics、JEPA、视频生成器和交互环境；
  2. 在潜在动力学、想象与规划中连接 RSSM、Dreamer、MuZero、MPC 与 CEM；
  3. 在表示预测与生成式世界中比较 feature prediction、latent action 与可控视频；
  4. 进入具身智能总览，再读状态、动作与策略；
  5. 沿 VLA、数据与跨本体学习理解互联网知识、机器人轨迹和 embodiment gap；
  6. 最后用规划、闭环评测与安全检查控制频率、恢复、运行时监督和物理边界。

评测与可靠性

从指标与 estimand 开始，依次阅读：

  1. Benchmark 注册表与评测污染；
  2. 统计推断与校准、不确定性；
  3. 生成式 Judge 与幻觉、事实性；
  4. 指令遵循与安全评测；
  5. 生产可靠性。

目标是把错误定位到模型、数据、检索、工具、环境、评分器或服务层，并用明确分母、effect 和置信区间表达结论。

学会的标准

每个专题至少完成一次：

  1. 定义输入、输出、状态和不变量；
  2. 手算一个最小例子；
  3. 阅读原始论文和一个公开实现；
  4. 用 reference 与优化实现做对照；
  5. 构造退化、缺失和攻击样例；
  6. 写清数据、版本、预算、分母、effect 与未知。

覆盖地图用于检查是否只掌握了名词，证据与研究方法用于区分论文结论、实现状态与外推。

Reference