更新日志¶
2026-07-28¶
- 新增 TileLang 系统专题:按 2025 年初稿、ICLR 2026 最终论文、0.1.12 稳定版与开发主线分开证据边界,系统展开 tile 编程模型、layout、流水线、FTG recommendation/inference、编译 pass、JIT/ABI、缓存、自动调优、多后端、性能模型、数值正确性、论文 benchmark 与上线验证,并与 Kernel 主干和 DeepSeek‑V4 专页双向连接。
- 新增 DSpark 深读:从精确 rejection sampling、DFlash 并行骨干和低秩 Markov / RNN 头进入 confidence soft label、STS、SPS 前缀调度与 non-anticipating 反例,再分开 DeepSpec 公开训练栈、V4 内部生产改造、SGLang confidence-scheduled 路径和 vLLM 固定长度支持;论文四幅机制 / 遥测图按 CC BY 4.0 登记到可复现 manifest,并将可复用结论接回推测解码与调度和 Goodput。
- 建立模型家族入口与可审计发布账本,分别展开 DeepSeek、Kimi 和 GLM 的主干、专门模型、研究方法、系统组件、Agent 工具、评测工件、API / 产品与许可证边界;三条时间线、工作深读和 canonical 主题同步形成双向阅读路径。
- 扩展家族的多模态支线:DeepSeek 补入 OCR-2 的语义阅读顺序,Kimi 继续连接 Kimi-VL、K2.5 与 K3,GLM 则从 VisualGLM、CogVLM 与 GLM-V 贯通 OCR、GUI、端侧、语音、图像和视频生成。
- 重构多模态与生成主线:从历史脉络、信号与 Token 化、对齐与融合、时空位置与 Mask 推进到视觉表示与 Grounding,把模态差异、序列接口、训练数据和系统约束放回同一条因果链。
- 展开生成模型的完整路径:自回归与 GAN、Autoencoder 与视觉 Tokenizer、Diffusion 与 Score、Latent Diffusion、DiT 与 Flow 及控制、编辑与评测分别固定历史动机、统一公式、可执行语义核和工程失效模式。
- 新增音频理解、音频生成与流式交互、视频理解与长程记忆、视频生成和 Any-to-Any 系统,贯通 waveform、codec、同步、时序压缩、生成采样与实时协议。
- 建立世界模型与具身智能两条新主干:由 Dyna、RSSM、Dreamer 与 MuZero 进入 JEPA、Genie 与生成式世界,再连接状态与动作、VLA 数据谱系和闭环评测与安全;关键机制配套可执行代码、原创概念图与可追溯论文图。
- 新增 Kimi k1.5、Kimi K2、Kimi K2.5 与 Kimi-VL 四篇深读:从长程 partial rollout 进入 MuonClip、稀疏缩放、工具数据、checkpoint engine、早融合、联合多模态 RL、Agent Swarm、原生分辨率视觉塔与四阶段训练,并与 Kimi 技术谱系双向连接。
- 将 k1.5、K2、Kimi-VL、K2.5、Kimi Linear 与 K3 六份固定版本报告中的 20 幅机制图放回最需要证据的段落;每幅图保留独立解读、高清查看、替代文本、页码、版权和许可证。新的 manifest v2 与离线生成器校验源 PDF 摘要、裁剪框、像素、PNG 元数据、正文 placement 和生成后语义结构。
- 补强语言建模、缩放规律、Transformer、优化稳定性、分布式训练、音频与视频等基础页,并重写 LSTM、Seq2Seq、BERT、T5、Scaling Laws、ReAct / Toolformer 等关键工作中的因果脉络、实现边界与证据范围。
- 新增 GLM-5 总深读:完整清点 40 页报告的 13 幅图、13 张表、5 个编号公式、4 段代码清单与附录 A–B;按原文、官方配置和后续 GLM-5.2 资料分开记录 80/78 层冲突、恒零组目标、引文元数据问题及内部评测边界。
- 拆分 GLM-5 架构、IndexCache 与 IndexShare、slime 与异步 Agentic RL 和 GLM Agentic Engineering,把 MLA-256、Muon Split、Shared MTP、DSA、TITO、direct IS、环境扩展、上下文管理和异构部署接回 canonical 主干。
- 建立 GLM 演化与 GLM-5 的 63 项正文引用图谱,分开 full report 与 GLM-5.⅕.2 的后续增量,并修正 GLM-5 base model 训练总量为 28.5T。
- 新增 DeepSeek-V4 总深读:从模型账本进入 mHC、CSA / HCA、Muon、预训练稳定性、全词表 On-Policy Distillation、FP4 QAT、百万 token rollout 和分层评测,并为报告的 15 幅图、14 张正式表、29 个编号公式、Algorithm 1 与附录 A–B 建立逐项阅读索引。
- 拆分 CSA / HCA、mHC、On-Policy Distillation 和 TileLang、MegaMoE 与 DSec 四篇机制深读;公式旁保留可执行语义核,较长实现折叠,系统收益与公开证据边界分开记录。
- 建立 V4 的 103 项引用图谱,并将可复用机制接回注意力、长上下文、MoE、优化器、蒸馏、量化、KV Cache、Agentic RL 和评测主干;导航、术语、稳定深链与完整性门禁同步更新。
- 新增 Kimi K3 工作深读:贯通 KDA / Gated MLA、Attention Residuals、Stable LatentMoE、原生视觉、Per-Head Muon、渐进长上下文、九路 RL 与 MOPD、3T 训练、百万 token Agentic RL、混合缓存、公开与内部评测、许可证和未公开边界;报告中的图、表、28 个编号公式及附录 A–F 均进入可检查的阅读索引。
- 将 Kimi Linear 与 FlashKDA、Attention Residuals、Stable LatentMoE 与 Quantile Balancing 及 MoonEP 拆成独立深读,分别固定递推/并行、深度寻址、窄路由/分位数更新和动态 expert placement 的公式、代码与系统边界。
- 建立 Kimi 技术谱系与 K3 的 150 项引用图谱,把 paper、weights、code、API、license 和发布日期分开记录,并为每项官方引用标明它在论证链中的角色。
- 将 K3 的可复用机制融入架构、训练、Agentic RL、分布式系统、推理、评测和多模态主干页;关键公式配套带断言的最小实现,公开结论与训练数据、算力、超参数、消融和安全材料中的未知项保持分层。
- 将最小可执行实现融入 canonical 机制页:从概率目标、序列构造、Decoder Block 延伸到训练、系统、推理运行时、强化学习、智能体与统计推断,让公式、状态语义和关键断言在同一阅读路径中相互校验。
- 建立默认展开与折叠的代码层级:核心计算路径保持可见,较长的辅助实现与测试使用可搜索、可复制、可键盘操作并支持稳定深链的原生折叠区,在桌面与移动端保持一致的阅读体验。
- 调整阅读方法、知识架构和手撕实现的分工:正文维护通用语义核,实践页组织跨机制组合与完整验证,工作深读保留论文特有增量。
2026-07-27¶
- 细化推理策略优化谱系与推理 RL 配方地图:独立展开 GAE、TRPO、PPO、GRPO、DAPO、VAPO、Ratio、Clipping 与 Gate 及训推分布与策略滞后,并以手撕 LLM 策略优化固定 packed GAE、PPO、RLOO/GRPO、DAPO、VAPO、GSPO、SAPO、CISPO/TIS/IcePop 与 DIS 的张量语义。
- 重构强化学习主线:从 MDP 与回报、Bellman 递推、Monte Carlo 与 TD 推进到 Policy Gradient、Actor–Critic 和 PPO,再连接语言模型策略、反馈制度、RLHF 数据闭环、RLVR、信用分配与 Agentic RL;新增手撕强化学习固定关键算法语义。
- 为 196 篇知识页统一可深链的
Reference书目,补齐原论文、规范、官方文档与实现入口,并在阅读方法中固定页级引用规则;索引、导航、术语表、更新日志与全站文献按页面职责避免机械重复。 - 建立带有历史脉络的技术谱系:从计数模型到可学习状态、递归到注意力、预训练目标延伸到后训练与对齐、分布式训练、推理服务、多模态、检索与智能体及评测,并新增 22 篇带公式、来源、实现边界与可执行代码的关键工作深读。
- 新增 SAO 与 CompactionRL:沿时间轴解释 single-rollout 异步更新、DIS 与 critic,沿空间轴解释学习式摘要、token-level normalization 与跨 segment 信用。
- 统一入口层:首页提供主题地图,学习路线提供递进路径,知识架构定义章节边界,覆盖地图连接概念、机制、实现与验证。
- 扩展基础链路:上下文学习、概率与目标函数、数据来源与谱系、过滤与去重、数据混合与课程、合成数据和记忆与隐私。
- 完善模型结构:Decoder Block、注意力变体、位置编码、长上下文、MoE、状态空间与线性注意力和记忆架构。
- 重构多模态主线:架构与训练、统一理解与生成、原生生成、文档与 GUI Grounding、音频语言模型、视频与世界模型和具身智能体。
- 展开训练全周期:预训练、缩放实验设计、蒸馏、参数高效适配、奖励建模、离线偏好优化、在线 RL 和推理后训练。
- 深化训练系统:性能模型、精度与数值、GPU 执行、并行策略、Attention Kernel、MoE 系统及容错与可观测性。
- 完善推理服务:调度与 Goodput、KV Cache、缓存复用、量化、推测解码、P/D 分离和基准与可靠性。
- 贯通知识与行动:检索与索引、重排与上下文、Grounded Generation、工具使用、记忆与规划、Agent 运行时和 Agent 安全。
- 建立推理与反馈主线:推理总览、测试时计算、搜索与验证,并由 Agentic RL 连接轨迹契约、数据与环境、训练系统和长时任务。
- 扩展评测体系:基准注册表、统计推断、校准与不确定性、生成式评审、Agent 与工具评测、安全评测、数据污染和多模态评测。
- 新增可运行的最小实现:张量原语、Tokenizer、训练目标、从零实现 Transformer、训练系统、推理引擎、检索与智能体、序列模型、多模态、测试时计算与评测工具。
- 更新索引层:术语表统一跨章节概念,文献整理原始论文与官方实现,证据方法约束时效性结论、推断与未知的表达。