知识架构¶
知识库按稳定对象组织：训练目标、数据分布、张量状态、计算图、环境状态和测量协议。模型名称、框架和榜单会变化，这些对象仍能连接新的证据。
十三个问题域¶
| 问题域 | 稳定对象 | 入口 |
|---|---|---|
| 基础 | token、概率、目标、上下文学习、缩放 | 基础知识地图 |
| 数据 | 来源、谱系、过滤、混合、序列、反馈 | 数据工程 |
| 模型结构 | attention、位置、MLP、MoE、递推、记忆 | 模型结构 |
| 多模态与生成 | 信号、token、对齐、媒体理解与生成 | 多模态与生成 |
| 世界与行动 | 状态、动力学、规划、动作与闭环 | 世界模型与具身智能 |
| 训练与对齐 | optimizer、SFT、蒸馏、PEFT、checkpoint | 训练与对齐 |
| 系统 | dtype、kernel、通信、placement、checkpoint | 系统与基础设施 |
| 推理与服务 | 解码、KV、缓存、调度、量化、集群 | 推理与服务 |
| 检索与智能体 | 索引、证据、工具、记忆、规划、权限 | 检索、工具与智能体 |
| 推理时计算 | 候选、搜索状态、验证器、预算 | 推理与推理时计算 |
| 强化学习 | 序贯决策、策略、价值、reward、环境与反馈 | 强化学习 |
| 评测与可靠性 | estimand、分母、judge、威胁、SLO | 评测与可靠性 |
| 谱系与证据 | 历史转折、关键工作、版本、来源、未知 | 技术谱系 |
依赖关系¶
系统层贯穿训练和推理；多模态改变输入、表示、输出与评测；世界模型和具身智能把状态进一步连接到环境转移与动作。推理时计算可以只发生在部署，也可以通过蒸馏、偏好或 RL 回到训练。技术谱系解释这些对象之间的历史转折，不替代机制定义。
数据与目标¶
来源谱系确定训练对象能否回溯，数据混合决定真实 token share，序列构造将文档变成 attention、position 和 loss mask。概率与损失定义这些张量如何产生梯度。
结构与系统¶
Decoder Block、注意力、MoE 和记忆架构定义计算图；性能成本模型、Attention Kernel 和模型并行解释它如何映射到硬件。
训练与推理¶
预训练形成基础分布，SFT 提供示范，蒸馏与 PEFT 改变知识和适配成本；强化学习则在策略会改变采样分布、反馈可能延迟时讨论行为改进。部署侧由解码、KV Cache、调度和量化决定可交付能力与成本。
知识、行动与反馈¶
RAG 连接外部证据，工具调用连接外部动作，智能体运行时维护状态。搜索与验证产生推理时反馈；需要参数更新时进入推理后训练，涉及环境转移与长时信用时继续进入 Agentic RL。
多模态表示把像素、波形和视频变成模型状态；世界模型预测动作条件下的状态转移；具身策略把目标与观察映射为可执行动作。三者必须通过坐标、时间、控制频率和安全监督形成闭环，不能把视频生成质量直接当作规划能力。
测量¶
语言模型评测协议冻结模型、数据和 harness；统计推断给出 effect 与区间；校准、事实性、Agent 终态和安全评测定义不同的失败边界。
页面角色¶
总览¶
总览回答该问题域包含哪些对象、它依赖什么、下一步读哪里。它保留稳定 URL，不复制专题中的全部推导。
机制¶
机制页围绕一个可独立验证的问题，通常包含：
motivation and scope
variables, shapes or state
derivation / mechanism
minimal semantic reference and executable invariants
system cost and trade-offs
failure / attack surface
evaluation and primary evidence
公式说明变量和归一化；紧邻的最小实现固定 mask、shape、状态边界与退化输入；性能结论绑定 dtype、shape、硬件与软件；训练结论绑定数据、预算和评测。主计算路径默认展开，辅助实现与长测试使用带稳定 fragment 的折叠区。
实践¶
实践页把多个 canonical 机制组装成可运行实验，并扩展测试矩阵、故障注入和优化前后对照。通用原子实现首先出现在对应机制页；实践页为保持代码可独立运行，可以重述必要的原子逻辑，但必须沿深链回到相同公式、边界与不变量。
技术谱系与工作深读¶
谱系页解释一个瓶颈如何推动下一项机制，并允许路线并行、分叉和重新汇合。它不复制 canonical 机制页的全部推导。
工作深读围绕一项或一组紧密相关的原始工作，连接前序矛盾、关键公式、最小可执行 reference、实验支持范围、官方实现边界与后续影响。它不是论文摘要或逐节复述。
家族案例¶
案例用于检验通用框架，明确模型、论文、权重、API 与产品版本。一个模型采用某机制，不会使该案例页成为机制的唯一解释。
索引¶
术语表、精选文献、覆盖地图和更新日志负责发现与回溯；正文中的技术结论仍落在 canonical mechanism page。
Canonical 边界¶
- 一个概念保留一个主要解释页，其他页面只补充上下文并链接。
- canonical 机制页维护通用公式、语义核和边界；实践页维护可运行组合与扩展测试，工作深读维护论文特有增量。出现必要重叠时，以相同断言和双向链接防止定义漂移。
- 旧的宽主题 URL 可保留为稳定总览，例如参数高效训练与压缩与后训练总览。
- 架构机制与实现优化分开：attention 定义在模型结构，kernel 在系统，KV 生命周期在推理。
- 离线偏好、在线 RL、推理时搜索和 Agentic RL 在同一强化学习主线中保持独立页面，因为数据分布、状态和目标不同；GAE、PPO、GRPO 作为可复用机制维护 canonical 页面，DAPO、VAPO 则保留在工作深读层，避免把 recipe 与单一公式混成一层。
- 模型发布与普遍规律分开；时效性事实进入谱系或证据卡。
交叉链接¶
一条链接应表达关系：
- 目标函数对应的 mask 和最小实现；
- 模型结构改变的 FLOPs、bytes 或 KV；
- 训练算法需要的数据、reference 和 verifier；
- 系统优化保留的数值与状态不变量；
- 评测结论使用的分母、预算和污染边界。
只写“相关内容”或堆叠论文列表，不会形成知识网络。完整主干见覆盖地图。
完整性标准¶
一项成熟专题至少能回答：
- 对象、输入输出和适用范围是什么；
- 公式或状态转移怎样得到；
- 最小 reference 如何验证；
- 真实系统的计算、内存、通信和时延怎样变化；
- 数据、指标、分母和预算如何固定；
- 哪些退化输入、分布偏移或攻击会破坏它；
- 结论来自理论、原论文、官方实现还是仍待独立验证。