LLM¶
从目标函数到生产系统。
阅读¶
- 学习路线：从共同基础进入模型、训练、系统、推理、智能体、多模态或世界与行动。
- 技术谱系：沿问题、转折和关键工作理解路线怎样形成。
- 模型家族：区分版本、公开产物与可复用机制。
- 知识架构：理解各主题的边界与依赖。
- 覆盖地图：在机制、实现、系统、评测和证据之间导航。
- 手撕实现：用最小代码固定张量、状态与算法语义。
主题¶
| 领域 | 核心问题 |
|---|---|
| 基础 | token、概率、目标、上下文学习与缩放 |
| 数据 | 来源、去重、混合、合成数据与训练序列 |
| 模型结构 | Transformer、位置、注意力、MoE、递推与记忆 |
| 多模态与生成 | 视觉、音频、视频、全模态理解与媒体生成 |
| 世界模型 | 状态、动力学、预测表征、想象与规划 |
| 具身智能 | VLA、机器人数据、动作策略、闭环评测与安全 |
| 训练与对齐 | 预训练、SFT、蒸馏、PEFT 与优化稳定性 |
| 系统 | 数值、GPU、kernel、并行、MoE 与容错 |
| 推理与服务 | 解码、KV、量化、调度、缓存与 P/D 分离 |
| 检索与智能体 | 索引、重排、证据生成、工具、记忆与运行时 |
| 推理时计算 | 采样、搜索、验证与预算分配 |
| 强化学习 | 序贯决策、策略优化、语言模型反馈与 Agentic RL |
| 评测与可靠性 | 协议、统计、校准、事实性、安全与生产门禁 |
| 技术谱系 | 历史转折、关键工作、实现传承与证据边界 |