From Policy Improvement to PPO, GRPO, and DPO
A note on policy improvement for LLM post-training, from policy ratios and advantages to PPO clipping, GRPO group baselines, and DPO preference optimization.
LLM / Policy Optimization
1. Policy improvement 的目标
在 RL 里,policy improvement 的目标很直接:给定旧 policy ,学习一个更好的新 policy 。这里的“更好”指:在旧 policy 访问的 states 上,让新 policy 更倾向于选择高价值 actions。
一个常见的 policy improvement objective 可以写成:
这里, 是旧 policy 诱导出的 state distribution。 表示在 state 下先选 action ,之后仍按旧 policy 执行时的 expected return。
之所以用 ,是因为 policy improvement 通常是 local improvement:先固定旧 policy,用它的 value function 作为 reference,判断某个 action 是否比旧 policy 的平均行为更好。如果直接用 ,target 会随着新 policy 一起变化,也很难用旧 samples 稳定估计。
因此,这个 objective 的意思是:
在旧 policy 遇到的 states 上,让新 policy 把更高概率分给相对旧 policy 更好的 actions。
实际优化时,通常不用 的绝对值,而是用 advantage:
于是 objective 变成:
但这里还有一个 mismatch:objective 里的 action 来自新 policy,而训练数据通常来自旧 policy。为了用旧 samples 估计新 policy 的 objective,需要 importance sampling:
由此得到 policy ratio:
所以 policy improvement 的 surrogate objective 可以写成:
2. PPO:在 policy ratio 上加 clipping,限制更新幅度
PPO 在上面的 surrogate 上加了一个限制:新 policy 不能相对旧 policy 变化太大。
原因是训练数据来自旧 policy。如果新 policy 更新太大,旧 samples 就不再能可靠代表新 policy,importance sampling 的估计也会变得不稳定。
所以 PPO 不直接优化:
而是使用 clipped surrogate objective:
其中:
clipping 的含义很简单:
- 如果 ,说明这个 action 好,新 policy 应该提高它的概率;但当 ,概率已经提高太多,PPO 就不再继续奖励这个方向。
- 如果 ,说明这个 action 不好,新 policy 应该降低它的概率;但当 ,概率已经降低太多,PPO 也会限制继续下降。
所以 PPO 的核心是:
用 ratio 表示新旧 policy 的概率变化,用 advantage 决定变化方向,再用 clipping 限制变化幅度。
2.1 PPO 在 LLM 里:action 是 token
在 LLM fine-tuning 里,语言模型通常被看成一个 token-level policy。给定 prompt ,模型生成回答:
在第 步,state 是上下文 ,action 是当前 token 。因此 LLM policy 可以写成:
整段回答的概率是:
所以 LLM PPO 实际上是在 token level 上做 policy improvement。对应的 ratio 是:
它表示:新模型相比旧模型,对第 个 token 的概率提高或降低了多少。
这也解释了为什么通常不把“整段回答”当成一个不可分解的 action。理论上,整段回答的 ratio 可以写成:
但这个 product 对长度非常敏感,容易变得极大或极小,训练不稳定。而且整段回答作为 action 会让 credit assignment 更粗:一个回答错了,不代表每个 token 都错了。因此 LLM PPO 通常在 token level 上计算 ratio 和 advantage。
2.2 PPO 为什么需要 value model?
PPO 的更新依赖 token-level advantage:
但在 LLM 里,reward 往往是 sequence-level 的。例如数学题通常是整段回答生成完后,根据最终答案是否正确给 reward:
这时通常不会单独学习一个 。对于一条 sampled trajectory,可以用 rollout return 近似 :
如果 reward 只在最后给,可以近似理解为:
但直接用 final reward 更新所有 token,variance 会很大。所以 PPO 通常会学习一个 value function:
然后构造 advantage:
这里 的作用是 baseline:它估计在当前 prefix 下,模型继续生成平均能拿到多少 return。
所以更准确地说:
PPO 通常不显式学习 -function,而是用 sampled return 作为 的估计;真正额外学习的是 -function,用来把 raw return 转成低方差的 advantage。
这也是 PPO 在 LLM 里开销较大的原因之一:除了 policy model,通常还需要 value model / critic,有时还会涉及 reference model 和 reward model。
3. GRPO:用 group baseline 替代 value model
GRPO 可以看成是对 PPO 的一个简化:保留 policy ratio 和 PPO-style clipping,但去掉 learned value model。
PPO 中 advantage 的形式是:
其中 需要额外训练。
GRPO 的想法是:很多 LLM reasoning 任务的 reward 是 sequence-level 的,而且可以对同一个 prompt sample 多个回答。于是,对同一个 prompt ,从旧 policy sample 一组 responses:
然后分别计算 reward:
接着用组内 reward 均值作为 baseline:
有时也会进一步标准化:
这个 advantage 的含义是:
对同一个 prompt 来说,这个回答比同组其他回答好多少。
然后 GRPO 仍然可以使用类似 PPO 的 ratio objective。对于回答 中的 token ,ratio 是:
所以 GRPO 和 PPO 的主要区别在于 advantage 的估计方式:
- PPO:,需要额外训练 value model。
- GRPO:,不需要 value model。
因此,GRPO 的核心可以理解为:
仍然用 policy ratio 做 policy improvement,但不再训练 value function,而是用同一个 prompt 下多个回答的相对好坏来估计 advantage。
这也是为什么 GRPO 很适合 math/code 这类任务:这些任务通常可以对同一个 prompt 采样多个回答,并用 rule-based verifier 快速得到 outcome reward。
4. DPO:另一种不显式做 rollout 的 policy improvement
除了 PPO/GRPO,DPO 也是 LLM post-training 里常见的 preference optimization 方法。不过它和 PPO/GRPO 的出发点不同。
PPO/GRPO 通常是:
- 用当前 policy sample responses;
- 用 reward model、verifier 或 rule-based reward 打分;
- 估计 advantage;
- 用 policy ratio 做 policy improvement。
而 DPO 直接使用 preference data:
其中 是 preferred response, 是 rejected response。DPO 的目标是让模型相对 reference model 更偏向 preferred response,也就是让下面这个差值更大:
它的 loss 通常写成:
直觉上,DPO 也在做 policy improvement:提高 preferred response 的相对概率,降低 rejected response 的相对概率,同时用 reference model 控制 policy 不要偏离太远。
但和 PPO/GRPO 不同的是,DPO 不需要 rollout 后估计 advantage,也不需要显式训练 reward model。它更像是一种 offline preference optimization:直接从 preference pairs 中学习“chosen 应该比 rejected 更可能”。
所以可以简单对比为:
- PPO:用 policy samples + reward,需要 rollout 和 value model,核心信号是 token-level advantage。
- GRPO:用 group samples + reward,需要 rollout,但不需要 value model,核心信号是 group-relative reward。
- DPO:用 preference pairs,不需要 rollout,也不需要 value model,核心信号是 chosen vs. rejected preference。
如果你有任何想讨论的想法,欢迎联系我:xsfeng@gatech.edu