Motivation#

表格型 Q-learning 在有限状态空间和标准随机逼近条件下可证明收敛，但 Atari 的高维像素输入需要函数逼近。「函数逼近 + 自举 + 离策略」会带来著名的 deadly triad 风险；相邻帧相关、TD 目标随参数变化也使优化更困难。DQN 的贡献不是提出 Q-learning，而是用经验回放、目标网络和卷积网络，在论文的 Atari 设置中显著改善了训练稳定性；这不是对任意深度 Q-learning 的收敛保证。

Method#

• 网络：把连续 4 帧灰度图（84×84）堆叠为输入，卷积网络一次前向输出每个离散动作的 $Q(s, \cdot)$。
• 经验回放（experience replay）：转移 $(s, a, r, s')$ 存入容量约 1M 的缓冲区，训练时均匀随机采小批，打破时间相关性、提高数据复用。
• 目标网络（target network）：单独维护一份参数 $\theta^-$ 计算 TD 目标，每隔 $C$ 步才从在线网络同步一次，避免「目标随预测一起动」。
• 损失：

Experiments#

• 基准：49 个 Atari 游戏，同一套网络结构与超参数，仅以原始像素与得分为输入/信号。
• 论文结果：按论文采用的人类归一化评测口径，DQN 的总体表现达到专业人类测试者水平；在 49 个游戏中的 29 个上，得分超过人类基线的 75%。
• 消融：去掉经验回放或目标网络都会显著掉分，验证这两件稳定化设计的必要性。

Strengths and Limitations#

Strengths：DQN 在统一架构和训练流程下，从像素输入学习多个 Atari 游戏，并达到当时很强的平均表现；经验回放与目标网络随后被许多 off-policy 深度 RL 方法采用。该结果限于论文的游戏与评测协议，不代表对所有像素控制任务都通用。

局限：只处理离散动作；当多个动作价值估计含噪时，$\max$ 算子可能产生正向的 Q 过估计偏差（Double DQN 针对此问题解耦动作选择与评估）；原论文训练使用了数量级很高的游戏帧，且结果对奖励处理与超参数敏感。后续 Double DQN、Dueling、Prioritized Replay、Rainbow 分别从不同侧面扩展了这一框架。

Takeaways#

DQN 把「Q-learning + 深度网络」变得可训练，是本篇一切深度价值/演员-评论家方法的起点。它遗留的两个问题——过估计与只能离散动作——分别由 SAC/TD3 的双 Q 和 DDPG 的确定性连续策略接手。

@inproceedings{lillicrap2016continuous,
  title     = {Continuous Control with Deep Reinforcement Learning},
  author    = {Lillicrap, Timothy P. and Hunt, Jonathan J. and Pritzel, Alexander
               and Heess, Nicolas and Erez, Tom and Tassa, Yuval and Silver, David and Wierstra, Daan},
  booktitle = {International Conference on Learning Representations},
  year      = {2016},
  url       = {https://arxiv.org/abs/1509.02971}
}

Motivation#

DQN 靠 $\max_{a'} Q(s', a')$ 选动作，但连续动作空间无法枚举这个 $\max$。DDPG 借用 Silver 等（DPG, ICML 2014）的确定性策略梯度：既然 critic 对动作可微，就让一个确定性 actor $\mu(s)$ 直接沿 $\nabla_a Q$ 爬坡，绕开对连续动作求 $\max$。

Method#

• 双网络：actor $\mu(s; \theta^\mu)$ 输出确定动作，critic $Q(s, a; \theta^Q)$ 用 DQN 式 TD 损失训练。
• 确定性策略梯度：

• 软目标更新（soft update）：$\theta' \leftarrow \tau\theta + (1-\tau)\theta'$，取很小的 $\tau$（原文 0.001）让目标网络缓慢跟随，比 DQN 的硬同步更平滑。
• 探索：确定性策略本身不探索，训练时叠加 Ornstein–Uhlenbeck 时间相关噪声（后续实践常改用高斯噪声）；同样用经验回放。

Experiments#

• 基准：20 多个仿真物理控制任务（cartpole 摆起、reacher、gripper、walker、腿式移动、以及仿真驾驶 Torcs 等），部分直接从像素学习。
• 结果：能在这些连续控制任务上学到有效策略，并与规划基线 iLQG 对比归一化性能。具体每任务回报数值原文以学习曲线呈现，此处定性描述，不引用精确分数。

Strengths and Limitations#

Strengths：首个在高维连续控制上可用的深度 off-policy actor-critic，样本效率优于当时的 on-policy 方法。

局限：对超参与随机种子极其敏感，训练脆弱、易发散；继承 DQN 的 Q 过估计且被确定性 $\max$ 放大。这两点正是 TD3 与 SAC 的直接改进动机（双 critic、延迟更新、目标平滑、熵正则）。

Takeaways#

DDPG 打通了「DQN 稳定化技巧 → 连续动作」的路径，但它的脆弱性说明光有确定性策略梯度不够，还需要系统性抑制过估计——这条线在 SAC 收束。

@article{schulman2017proximal,
  title   = {Proximal Policy Optimization Algorithms},
  author  = {Schulman, John and Wolski, Filip and Dhariwal, Prafulla and Radford, Alec and Klimov, Oleg},
  journal = {arXiv preprint arXiv:1707.06347},
  year    = {2017},
  url     = {https://arxiv.org/abs/1707.06347}
}

Motivation#

策略梯度对更新幅度较敏感：更新过大可能使策略性能突然下降。TRPO 用近似信赖域约束限制策略变化，但实现和计算较复杂；PPO 则用一阶优化和裁剪替代目标，近似实现「不要一步走太远」。

Method#

• 概率比：$r_t(\theta) = \dfrac{\pi_\theta(a_t \mid s_t)}{\pi_{\theta_{\text{old}}}(a_t \mid s_t)}$。
• 裁剪替代目标：

裁剪区间常取 $\epsilon = 0.2$。当更新使 $r_t$ 越出 $[1-\epsilon, 1+\epsilon]$ 且方向对目标有利时，$\min$ 与 clip 联手移除其改进激励，从而抑制过大更新。

• 优势估计：用 GAE 计算 $\hat{A}_t$；完整目标再加价值函数回归项与熵奖励：$L^{\text{CLIP}} - c_1 L^{\text{VF}} + c_2 S[\pi_\theta]$。
• 训练循环：采一批 rollout，对同一批数据做 K 个 epoch 的小批 SGD（在 TRPO 的「一批一更新」上提高数据利用）。

Experiments#

• 基准：MuJoCo 的 7 个连续控制任务与 Atari（ALE）。
• 结果：在连续控制上匹配或超过 A2C/ACER/TRPO/vanilla PG；在 Atari 上按「训练全程平均回报」与「最终表现」两种口径评估时，PPO 相对 A2C/ACER 胜出的游戏数最多。具体每游戏分数此处定性描述，不引用精确数值。

Strengths and Limitations#

Strengths：实现简单、对超参相对宽容、跨任务鲁棒，是仿真机器人、游戏、以及 RLHF/LLM 后训练中最常用的强基线。

局限：PPO 主要依赖当前策略收集的 rollout，通常会对同一批数据训练多个 epoch，但不能像标准 off-policy 算法那样长期、任意复用旧数据，因此样本效率往往较低；裁剪是启发式近端约束，对优势归一化、学习率和 epoch 数等实现细节仍较敏感。

Takeaways#

PPO 是「稳」的代名词，也是 GRPO 的直接前身——GRPO 保留 PPO 的裁剪目标，只把「优势怎么算」从 critic 换成组内相对回报。

@inproceedings{haarnoja2018soft,
  title     = {Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor},
  author    = {Haarnoja, Tuomas and Zhou, Aurick and Abbeel, Pieter and Levine, Sergey},
  booktitle = {International Conference on Machine Learning},
  pages     = {1861--1870},
  year      = {2018},
  url       = {https://arxiv.org/abs/1801.01290}
}

Motivation#

DDPG 脆弱、TD3 靠若干技巧修补，但确定性策略天生不利于探索。SAC 换一个目标：最大熵 RL——在最大化回报的同时最大化策略熵，鼓励「在能拿到高回报的前提下尽量随机」，天然改善探索、对多模态最优更鲁棒，且推导出的更新更稳。

Method#

• 最大熵目标：

• 随机 actor + 重参数化：策略为高斯并经 tanh 压缩到动作边界；用 reparameterization trick 让策略梯度低方差可导。
• 双 Q（clipped double-Q）：两个 critic，目标取 $\min(Q_1, Q_2)$ 抑制过估计（这一点 SAC 原文即含）。
• 温度 $\alpha$：原文为固定超参；后续 1812.05905 引入自动温度调节——按目标熵 $\bar{\mathcal{H}}$ 做约束优化自动学 $\alpha$，免去逐任务手调。

Experiments#

• 基准：MuJoCo 连续控制（Hopper、Walker2d、HalfCheetah、Ant，以及高维 Humanoid ~21-DoF）。
• 结果：在样本效率与稳定性上匹配或超过 DDPG/PPO/TD3，在最难的 Humanoid 上优势明显。具体每任务回报此处定性描述，不引用精确数值。

Strengths and Limitations#

Strengths：样本高效、训练稳定、对超参相对宽容（尤其自动温度版）；随机策略利于探索，是真机与仿真连续控制的常用 off-policy 首选。

局限：只适用于连续（或需特殊处理的离散）动作；双 Q + 目标网络 + 温度调节使实现比 PPO 复杂；最大熵目标引入的 $\alpha$ 改变了「最优策略」的定义，与纯回报最优略有偏差。

Takeaways#

SAC 在最大熵 actor-critic 框架中结合随机策略、熵正则和双 Q：熵项鼓励策略保持探索，双 Q 取较小值用于缓解价值过估计。这些设计提高了若干连续控制任务中的样本效率和稳定性，但并不消除所有探索或估计误差。接下来转向只有固定数据集可用时的离线 RL。

@inproceedings{kumar2020conservative,
  title     = {Conservative Q-Learning for Offline Reinforcement Learning},
  author    = {Kumar, Aviral and Zhou, Aurick and Tucker, George and Levine, Sergey},
  booktitle = {Advances in Neural Information Processing Systems},
  year      = {2020},
  url       = {https://arxiv.org/abs/2006.04779}
}

Motivation#

在线 RL 靠与环境交互纠正高估；离线 RL 只有一批固定数据，无法验证。策略一旦被虚高的 Q 诱导去选数据集外动作，误差会经贝尔曼自举不断放大——这是离线 RL 发散的根因（分布偏移 / 外推误差）。CQL 的思路：宁可保守，让学到的 Q 成为真实值的下界，从根上堵住「幻想出的高价值动作」。

Method#

• 在标准贝尔曼误差外，加一个保守正则（CQL(H) 变体）：

• 前一项（logsumexp）对所有动作取软 $\max$ 并压低，后一项抬高数据集内动作；两者相减即「压 OOD、抬 in-dist」。
• $\alpha$ 平衡保守程度与贝尔曼拟合。可证在合适条件下得到价值下界。

Experiments#

• 基准：D4RL（MuJoCo locomotion、AntMaze、Adroit、kitchen 等）与 Atari 离线数据集。
• 结果：在较难任务（AntMaze、Adroit、kitchen）上相对 BEAR/BRAC/BCQ 等先前离线方法有明显优势。具体 D4RL 分数因数据集版本（-v0/-v2）而异，此处定性描述，不引用精确数值。

Strengths and Limitations#

Strengths：思想直接、理论上给出价值下界、对数据集覆盖差的场景鲁棒；是离线 RL 与机器人离线策略学习的常用强基线。

局限：保守可能过头，在数据本就近最优时压制真实高价值动作、拖累性能；$\alpha$ 需调；logsumexp 在大/连续动作空间需采样近似。

Takeaways#

CQL 用「压低 OOD」直接对抗高估，但代价是可能过度保守。IQL 换一条更温和的路：根本不去查 OOD 动作。

@inproceedings{kostrikov2022offline,
  title     = {Offline Reinforcement Learning with Implicit Q-Learning},
  author    = {Kostrikov, Ilya and Nair, Ashvin and Levine, Sergey},
  booktitle = {International Conference on Learning Representations},
  year      = {2022},
  url       = {https://arxiv.org/abs/2110.06169}
}

Motivation#

CQL 通过惩罚压制 OOD，但仍要在 OOD 上算 Q。IQL 的观察更彻底：TD 目标里的 $\max_a Q(s', a)$ 才是 OOD 查询的来源。若能只用数据里出现过的动作来近似这个 max，就再也不碰 OOD，训练自然稳定。

Method#

• expectile 回归学 V：用不对称的 expectile 损失（$\tau \to 1$ 时上偏，逼近数据内的 max）拟合状态价值：

• Q 拟合：$Q \leftarrow r + \gamma V(s')$，目标用 $V$ 而非 $\max_a Q$，全程不查 OOD 动作。
• 策略提取：优势加权回归（AWR 式）$\max_\pi \mathbb{E}\big[\exp(\beta(Q(s,a)-V(s))) \cdot \log\pi(a\mid s)\big]$。

Experiments#

• 基准：D4RL 全套（locomotion、AntMaze、FrankaKitchen、Adroit）。
• 结果：与 CQL 相当或更优，尤其在 AntMaze 上表现突出，且计算更省。具体分数此处定性描述，不引用精确数值。

Strengths and Limitations#

Strengths：训练稳定、实现相对简单、算力友好；「不查 OOD」从设计上回避了离线 RL 的主要发散源。

局限：expectile 的 $\tau$ 与 AWR 的温度 $\beta$ 需调；本质上性能被数据集覆盖上界所限（无法超出数据里出现过的动作组合太多）。

Takeaways#

CQL 与 IQL 代表离线 RL 的两种哲学——显式保守 vs. 隐式回避。二者都止步于「学好数据内的策略」；QRL 则从另一角度切入：当任务是目标可达时，最优价值本身有特殊结构可利用。

@inproceedings{wang2023optimal,
  title     = {Optimal Goal-Reaching Reinforcement Learning via Quasimetric Learning},
  author    = {Wang, Tongzhou and Torralba, Antonio and Isola, Phillip and Zhang, Amy},
  booktitle = {International Conference on Machine Learning},
  year      = {2023},
  url       = {https://arxiv.org/abs/2304.01203}
}

Motivation#

在目标可达（goal-reaching）问题里，最优价值 $V^*(s, g)$ 等价于「从 $s$ 到 $g$ 的最短到达步数/代价」的负值。这个量满足三角不等式（经中间点绕行不会更近），但方向不对称（$s\to g$ 与 $g\to s$ 代价可不同）——这正是拟度量的定义。QRL 主张：与其用普适逼近器盲学 $V$，不如把这个已知的几何结构直接编码进网络。

Method#

• 拟度量参数化：用满足拟度量公理（非负、$d(x,x)=0$、三角不等式、允许不对称）的可微模型（如 Interval Quasimetric Embeddings, IQE）表示状态间距离 $d(s, g)$。
• 训练目标（约束优化）：在「相邻可达状态对的距离 $\le$ 单步代价」这一局部约束下，最大化其余状态对之间的拟度量距离。三角不等式由结构保证，于是这个约束优化的解恰好逼近最优代价函数——无需 TD 自举。
• 策略：由学到的距离场诱导目标可达策略（选使 $d(\cdot, g)$ 下降的动作）。

Experiments#

• 基准：离线与在线的目标可达（GCRL）控制任务。
• 结果：在这些任务上，利用拟度量结构相较不带该结构的价值逼近基线更能学到接近最优的到达策略。具体每任务成功率/回报此处定性描述，不引用精确数值。

Strengths and Limitations#

Strengths：把「最优目标可达价值是拟度量」这一结构先验直接注入模型，避免自举式 TD 的不稳定；三角不等式自动满足带来更好的组合/长程泛化。

局限：只适用于目标可达式任务（奖励=到达），不覆盖一般稠密奖励 MDP；依赖专门的拟度量嵌入结构；相较通用 actor-critic 生态更小众。

Takeaways#

QRL 与 CQL/IQL 都属「跳出朴素 TD」，但角度不同：离线 RL 修的是分布偏移，QRL 换的是价值的结构假设。至此价值/策略学习的经典脉络告一段落；最后两篇把 RL 的目标搬到语言模型后训练。

@inproceedings{rafailov2023direct,
  title     = {Direct Preference Optimization: Your Language Model is Secretly a Reward Model},
  author    = {Rafailov, Rafael and Sharma, Archit and Mitchell, Eric and Ermon, Stefano
               and Manning, Christopher D. and Finn, Chelsea},
  booktitle = {Advances in Neural Information Processing Systems},
  year      = {2023},
  url       = {https://arxiv.org/abs/2305.18290}
}

Motivation#

标准 RLHF = 训练奖励模型 + 用 PPO 优化「奖励 − KL 到参考策略」。这条管线有三处痛点：奖励模型可能被 reward hacking、PPO 训练不稳且工程复杂、要同时持有策略/参考/奖励/价值四个模型。DPO 问：能否跳过奖励模型与 RL，直接在偏好数据上优化策略？

Method#

• 关键恒等式：带 KL 约束的 RLHF 最优策略有闭式 $\pi^*(y\mid x) \propto \pi_{\text{ref}}(y\mid x)\exp(r(x,y)/\beta)$。反解得隐式奖励 $r(x,y) = \beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\text{ref}}(y\mid x)} + \beta\log Z(x)$。
• 配分函数抵消：代入 Bradley–Terry 偏好模型时，$Z(x)$ 在「优/劣」两项之差中自动消去，剩下一个对偏好对 $(y_w, y_l)$ 的 sigmoid 分类损失：

• $\beta$ 控制与参考策略的偏离强度（等价于 KL 约束强度）。全程无显式奖励模型、无在线采样。

Experiments#

• 基准：受控情感生成、摘要（TL;DR）、单轮对话等偏好对齐任务。
• 结果：在这些任务上匹配或超过基于 PPO 的 RLHF，同时训练更稳、实现更简单、算力更省。具体胜率/指标此处定性描述，不引用精确数值。

Strengths and Limitations#

Strengths：把 RLHF 从「四模型 + RL 循环」压成「一个分类损失」，稳定、易复现，是开源对齐的主流方案之一。

局限：性能受偏好数据质量与覆盖限制；纯离线、不采样，可能不如在线 RLHF 探索到新行为；对 $\beta$ 与参考策略选择敏感；后续有 IPO/KTO/ORPO 等针对其过拟合与长度偏置的改进。

Takeaways#

DPO 代表 LLM 对齐里「免 RL」的一派：把奖励重参数化掉。而当奖励可自动验证（如数学答案对错）时，另一派选择保留 RL 但简化它——这就是 GRPO。

@article{shao2024deepseekmath,
  title   = {DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models},
  author  = {Shao, Zhihong and Wang, Peiyi and Zhu, Qihao and Xu, Runxin and Song, Junxiao
             and Bi, Xiao and others and Guo, Daya},
  journal = {arXiv preprint arXiv:2402.03300},
  year    = {2024},
  url     = {https://arxiv.org/abs/2402.03300},
  note    = {Introduces Group Relative Policy Optimization (GRPO)}
}
@misc{deepseek2025r1,
title         = {{DeepSeek-R1}: Incentivizing Reasoning Capability in {LLMs} via Reinforcement Learning},
author        = {{DeepSeek-AI}},
year          = {2025},
eprint        = {2501.12948},
archivePrefix = {arXiv},
url           = {https://arxiv.org/abs/2501.12948},
note          = {Scales GRPO for large-model reasoning post-training}
}

Motivation#

在常见的 PPO 式 LLM 训练配置中，通常还要训练一个 value model 估计基线，这会增加显存和计算开销；长序列上的逐 token 价值估计也可能噪声较大。对于具有序列级可验证奖励的推理任务，GRPO 改为对同一提示采样一组回答，并用组内相对奖励构造优势估计，从而不再单独训练 critic。

Method#

• 组采样：对每个提示，用旧策略采一组 $G$ 个输出 $\{o_1, \dots, o_G\}$。
• 组内相对优势（关键，替代 critic 基线）：

（outcome 监督下，该优势赋给输出 $i$ 的所有 token。）

• 目标：PPO 式裁剪替代目标 + 直接加在损失里的 KL 惩罚（而非并进奖励）：

Experiments#

• 基准：数学推理（GSM8K、MATH 等）；DeepSeek-R1 进一步在大模型上用 GRPO 激发长链推理。
• 结果：DeepSeekMath 报告 GRPO 相对基线在数学推理上有效提升；DeepSeek-R1 展示纯 RL（GRPO）即可涌现较强推理与自我反思行为。具体分数此处定性描述，不引用精确数值。

Strengths and Limitations#

Strengths：去掉 value 网络显著省显存/算力；实现比完整 PPO 简单；与可验证奖励（RLVR）天然契合，是当前开源推理模型后训练的主流之一。

局限：依赖每题多次采样（推理开销大）；组内标准化在奖励方差极小/极大时不稳；主要适配可验证/稀疏结果奖励，对开放式生成的适配仍在探索；理论性质弱于经典策略优化。

Takeaways#

GRPO 与 DPO 使用不同反馈：DPO 直接优化离线偏好对，GRPO 使用一组 rollout 的相对奖励估计优势并省去独立价值网络。前者不执行 RL 采样循环，后者仍属于策略优化；不能仅按“都在简化 PPO”理解。