Agentic RL 阅读清单

阅读顺序按问题组织，而不是按发布时间堆叠。每篇材料都应回答“它改变了哪个对象、依赖什么假设、怎样验证”。

策略优化与偏好学习

材料	关注问题
PPO	clipped policy update 与采样复用
InstructGPT	SFT、reward model、PPO 的完整 RLHF 管线
DPO	从偏好对直接优化 policy
DeepSeekMath	GRPO 与可验证数学任务
DeepSeek-R1	reasoning RL、冷启动与蒸馏
Dr. GRPO	组标准化与长度归一化偏置
DAPO	动态采样、非对称 clipping 与 token-level loss
GSPO	sequence-level ratio 和 trust region
SAPO	平滑、token-adaptive 的 ratio gate
PRIME	从 outcome label 学习过程奖励

阅读时对齐 policy/reference/behavior model、奖励粒度、KL、采样组和训练阶段。

工具与交互

材料	关注问题
ReAct	推理与行动交错的轨迹表示
Toolformer	自监督工具调用数据构造
WebGPT	浏览环境、引用与人类反馈
Voyager	长期技能库与开放式环境

重点不是记 prompt 格式，而是观察 action space、环境反馈和训练信号。

代码与可验证环境

材料	关注问题
SWE-bench	真实仓库 issue、测试与环境复现
CodeRL	单元测试反馈与代码生成 RL
AlphaCode	大规模采样、过滤与聚类
CodeAct	以可执行代码作为统一动作

需要区分模型、采样预算、test harness 和检索权限。

长时任务与系统

材料	关注问题
METR time horizons	固定成功率下的任务时长
Effective harnesses for long-running agents	跨上下文工作周期与可恢复状态
veRL	rollout、训练角色与分布式执行
AReaL	异步 rollout、policy lag 与吞吐
SAO	单 rollout、critic 与双侧重要性筛选
CompactionRL	学习式摘要、token normalization 与跨段信用
Agent Lightning	任意 agent 轨迹的层级信用分解

长时结果应同时记录 checkpoint、harness、工具、预算和外部状态。

评测与风险

材料	关注问题
AgentBench	多环境 agent 能力
ToolBench	大规模工具数据与评测
Do-Not-Answer	风险请求与拒答边界
Sleeper Agents	后门行为的持续性

单一 leaderboard 无法覆盖污染、成本、权限和恢复能力，应配合评测与安全的检查表。

阅读笔记模板

问题：
状态 / 动作 / 奖励：
数据与环境：
核心算法：
系统假设：
对照与预算：
主要结果：
失效模式：
可复现入口：
可迁移结论：

完整概念路径从 Agentic RL 总览开始。