基础知识地图¶

生成式模型把离散或连续观测编码为序列表示，根据上下文产生条件分布，再由训练目标与解码策略塑造行为。

\[ \text{raw observations} \rightarrow \text{tokens} \rightarrow \text{representations} \rightarrow \text{context mixing} \rightarrow p_\theta(x_t\mid x_{<t}) \rightarrow \text{generation or action}. \]

这些对象不是从 Transformer 才突然出现的。从计数到可学习状态沿着统计语言模型、分布式表示、RNN 与 LSTM 追踪“怎样保存过去”；预训练目标的分化再解释 GPT、BERT 与 T5 为什么从相近的似然原则走向不同接口；规模、数据与上下文则把模型能力放回计算预算与数据配比中。

六个基础对象¶

对象	关键问题	入口
随机变量	联合、条件与期望怎样定义	概率、损失与梯度
token	文本怎样变成可逆离散序列	分词与表示
表示	embedding 与 hidden state 保存什么	语言建模
上下文	当前输入如何改变预测而不改参数	上下文学习
目标	哪些 token、偏好或奖励产生梯度	训练与对齐
规模	参数、数据、计算与生命周期成本怎样配比	缩放与计算

语言建模链¶

token 序列 \(x_{1:T}\) 的自回归分解：

\[ p_\theta(x_{1:T})= \prod_{t=1}^{T}p_\theta(x_t\mid x_{<t}). \]

训练通常最小化有效 token 上的负对数似然；推理则从同一条件分布经过 temperature、top-\(k\)、top-\(p\)、grammar 或搜索生成具体序列。目标相同不代表解码行为相同。

三种状态¶

参数¶

预训练和后训练写入权重，更新慢，容量有限，难以逐条追溯来源。

上下文与 cache¶

当前请求的 token、hidden state 与 KV cache，只在 forward 或会话生命周期内存在。它们可以携带新事实，也可能携带注入或错误。

外部状态¶

检索库、工具、数据库、任务日志和长期记忆由系统维护，有权限、版本和终态。它们不等同于模型“知道了”某件事。

把三者分开，才能定位过期知识、上下文冲突、cache 泄漏与工具失败。

不要混淆¶

训练目标与下游能力：低 language-model loss 不自动保证事实性、推理、指令遵循或工具使用。
概率与置信：高 token probability 不自动是事实正确概率。
最大上下文与有效上下文：接口接受长度不代表信息在所有位置可用。
参数量与计算量：MoE 总参数、激活参数、训练 FLOPs 与推理 bytes 是不同口径。
模型能力与系统成功：检索、权限、重试、验证器和服务状态会改变端到端结果。
作者结果与普适规律：经验拟合依赖数据、架构、优化器与评测。