跳转至

证据与研究方法

大模型领域同时存在稳定原理、快速变化的产品事实和无法外部验证的训练细节。高质量研究的第一步不是收集更多结论，而是明确每条结论究竟由什么证据支撑。

先拆分事实类型

类型 典型问题 首选证据 常见误区
数学与算法 目标函数如何定义，估计量是否有偏 论文定义、推导、代码 用口号替代变量与假设
模型结构 参数量、激活参数、注意力与路由方式 技术报告、模型卡、官方仓库 从模型名称推断结构
训练过程 数据量、阶段、优化器、计算量 技术报告、训练日志 把上下文长度当训练 token
产品能力 API 名称、上下文、输入模态、价格 官方文档、版本说明 用模型自述验证自身版本
评测结果 指标、数据集、采样与评分方式 评测脚本、原始表格 只比较一个总分
工程结论 吞吐、显存、稳定性与兼容性 可复现实验、上游 issue 把单机观察外推到所有环境

同一句“模型用了 20T token”，至少可能指语料库去重后的规模、一次训练实际处理量、多个阶段累计暴露量，或把公开数字相加得到的推断。先定义口径，再比较数字。

证据优先级

对时效性事实，建议按以下顺序取证：

  1. 版本化官方文档、模型卡、技术报告和发布说明；
  2. 官方代码仓库中的配置、标签与可定位提交；
  3. 可复现的第三方实验、公开评测脚本与原始数据；
  4. 有完整上下文的工程记录；
  5. 二手报道、聚合表和无法复现的截图。

低优先级来源可以提供线索，不能自动成为结论。官方来源也并非天然完整：模型卡可能省略训练细节，营销页面可能只给最优结果，论文表格也可能使用不同提示、工具或推理预算。

最小证据卡

每个会变化的条目至少记录：

结论：
对象与版本：
事实类型：
来源：
来源发布日期或提交：
核验日期：
口径与条件：
仍未知：

如果结论来自多个来源，还要写清哪些字段是直接披露，哪些是换算，哪些是推断。推断应可被新证据推翻，而不是伪装成事实。

比较前先对齐口径

模型

  • 总参数量与每 token 激活参数量不可混用；
  • base、instruct、reasoning 与 tool-augmented 系统不是同一对象；
  • 文本模型、视觉语言模型和带外部 OCR 的系统能力边界不同；
  • checkpoint 发布、API 上线和产品默认切换可能是三个日期。

训练

  • 预训练、持续预训练、监督微调和强化学习的 token 不宜直接相加；
  • tokenizer 不同会改变 token 数，跨模型比较只能近似；
  • 数据集名义大小不等于采样后实际暴露量；
  • context window 是单次序列容量，不是训练数据总量。

评测

  • 固定模型版本、提示模板、解码参数、工具权限和推理预算；
  • 报告均值之外的方差、失败率和样本覆盖；
  • 区分模型能力、agent harness、检索系统和评分器的贡献；
  • 防止测试集污染、答案格式泄漏和按 benchmark 调参。

从主张反推实验

把“更好”改写为可证伪的问题：

在相同模型、数据切分、推理预算和失败重试规则下，方法 A 是否在目标指标上稳定优于方法 B，同时不显著增加成本或尾延迟？

一个基本对照实验可写成

\[ \Delta = M(A; \theta, D, B)-M(B; \theta, D, B), \]

其中 \(\theta\) 固定模型与解码配置，\(D\) 固定数据，\(B\) 固定 token、工具调用或时间预算。若这些变量未固定，\(\Delta\) 不能只归因于算法差异。

处理未知与冲突

  • 来源缺失：明确写“未公开”，不要从参数量或表现补齐。
  • 来源冲突：保留各自口径、版本和日期，不急于合并成单值。
  • 页面更新：优先更新原始事实页，再修正所有汇总表和交叉链接。
  • 过期事实：保留历史快照时标出时间，不把旧产品配置写成永恒属性。
  • 负结果：记录失败条件；它往往比孤立的成功案例更可复用。

研究闭环

一条知识进入稳定体系前，依次经过：

  1. 定位：它回答哪个长期问题，而不是属于哪个厂商新闻；
  2. 去重：与已有定义、机制和案例合并；
  3. 推导：补全变量、假设、代价与失效模式；
  4. 交叉验证：至少检查原始来源和实现中的一个可核验点；
  5. 归位：写入唯一的 canonical page，其他页面只摘要并链接；
  6. 回归：检查导航、内部链接、数学公式和窄屏渲染。

阅读全站时，可把本页与阅读方法、实验方法和模型谱系结合使用。

Reference