直接偏好优化算法 (Direct Preference optimization, DPO)：大语言模型强化学习中的一种偏好优化方法，其相比 PPO 更简单、稳定与高效。

论文：https://arxiv.org/abs/2305.18290

1 传统 HFRL

对于传统的 HFRL，它的策略模型（即 LLM）和奖励模型是分离的。首先要使用偏好数据训练得到奖励模型，再借助奖励模型，通过强化学习来对模型进偏好优化。

首先需要对偏好进行建模。通常偏好数据集是二元对的形式，是一个输出相对另一个输出的胜负，这并不能表示成一个数学模型，我们希望通过绝对的数值来代表每个输出的“实力”。

Bradley-Terry 模型就可以对这种二元比较进行建模，表达人类偏好的潜奖励模型记为 $r^{\ast }(x,y)$，代表 $x$ 输入条件下输出 $y$ 的奖励值，那么 $y_1$ 相对 $y_2$ 胜的几率是：

$$p^{\ast }(y_1\succ y_2\mid x)=\frac{e^{r^{\ast }(x,y_1)}}{e^{r^{\ast }(x,y_1)}+e^{r^{\ast }(x,y_2)}}$$

人类标注的偏好数据就相当于在 $r^{\ast }(x,y)$ 这个潜奖励模型的采样，假如数据集是 $\mathcal{D}=\{x^{(i)},y_w^{(i)},y_l^{(i)}{\}}_{i=1}^N$，那么优化的目标便是：

$$\begin{array}{rl}\mathcal{L}(r_{\varphi },\mathcal{D})& =-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}[\log \frac{e^{r_{\varphi }(x,y_w)}}{e^{r_{\varphi }(x,y_w)}+e^{r_{\varphi }(x,y_l)}}]\\ & =-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}[\log \sigma (r_{\varphi }(x,y_w)-r_{\varphi }(x,y_l))]\end{array}$$

OpenAI 的论文 Fine-Tuning Language Models from Human Preferences 中实际上是四选一，而不是二选一。不过差别也不大，就是分母变成四项相加。

通过训练获得奖励模型 $r_{\varphi }$ 后，就可以开始正式的强化学习了。优化的目标是：

$$\underset{{\pi }_{\theta }}{max}{\mathbb{E}}_{x\sim \mathcal{D},y\sim {\pi }_{\theta }(y\mid x)}[r_{\varphi }(x,y)]-\beta \mathrm{KL}[{\pi }_{\theta }(y\mid x),{\pi }_{\mathrm{ref}}(y\mid x)]$$

使用 PPO 方法进行优化。

可以看到，传统的 HFRL 流程复杂，需要先训练奖励模型，再正式训练语言模型。DPO 针对这个问题，提出了一种将奖励模型隐含在语言模型中的方法，相当于策略模型既是语言模型，也是奖励模型。

2 DPO 方法

根据我对论文公式推导的理解，DPO 就是通过一些巧妙的构造，消去了一些不好计算的部分，同时将奖励值隐含在语言模型中。

首先，DPO 从传统 HFRL 的优化目标开始，对它进行变形和构造：

$$\begin{array}{rl}& \underset{\pi }{max}{\mathbb{E}}_{x\sim \mathcal{D},y\sim \pi (y\mid x)}[r(x,y)]-\beta \mathrm{KL}[\pi (y\mid x),{\pi }_{\mathrm{ref}}(y\mid x)]\\ \Rightarrow & \underset{\pi }{max}{\mathbb{E}}_{x\sim \mathcal{D}}{\mathbb{E}}_{y\sim \pi (y\mid x)}[r(x,y)-\beta \log \frac{\pi (y\mid x)}{{\pi }_{\mathrm{ref}}(y\mid x)}]\\ \stackrel{\times -1/\beta }{\Rightarrow }& \underset{\pi }{min}{\mathbb{E}}_{x\sim \mathcal{D}}{\mathbb{E}}_{y\sim \pi (y\mid x)}[\log \frac{\pi (y\mid x)}{{\pi }_{\mathrm{ref}}(y\mid x)}-\frac{1}{\beta }r(x,y)]\\ \Rightarrow & \underset{\pi }{min}{\mathbb{E}}_{x\sim \mathcal{D}}{\mathbb{E}}_{y\sim \pi (y\mid x)}[\log \frac{\pi (y\mid x)}{\frac{1}{Z(x)}{\pi }_{\mathrm{ref}}(y\mid x)\exp (\frac{1}{\beta }r(x,y))}-\log Z(x)]\\ & \text{其中,}Z(x)=\sum _y{\pi }_{\mathrm{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right)\end{array}$$

上面的变形和构造虽说看不出来有什么用，但实际上是对下面的操作做准备。

接下来，把 $\log$ 里分母的那一坨式子记为：

$${\pi }^{\ast }(y\mid x)=\frac{1}{Z(x)}{\pi }_{\mathrm{ref}}(y\mid x)\exp (\frac{1}{\beta }r(x,y))$$

把 ${\pi }^{\ast }(y\mid x)$ 回代到原来的式子：

$$\begin{array}{rl}& \underset{\pi }{min}{\mathbb{E}}_{x\sim \mathcal{D}}{\mathbb{E}}_{y\sim \pi (y\mid x)}[\log \frac{\pi (y\mid x)}{\frac{1}{Z(x)}{\pi }_{\mathrm{ref}}(y\mid x)\exp (\frac{1}{\beta }r(x,y))}-\log Z(x)]\\ \Rightarrow & \underset{\pi }{min}{\mathbb{E}}_{x\sim \mathcal{D}}{\mathbb{E}}_{y\sim \pi (y\mid x)}[\log \frac{\pi (y\mid x)}{{\pi }^{\ast }(y\mid x)}-\log Z(x)]\\ \Rightarrow & \underset{\pi }{min}{\mathbb{E}}_{x\sim \mathcal{D}}{\mathbb{E}}_{y\sim \pi (y\mid x)}[\mathrm{KL}[\pi (y\mid x),{\pi }_{\mathrm{ref}}(y\mid x)]-\log Z(x)]\end{array}$$

注意到，$Z(x)$ 是只关于 $x$ 的函数，${\pi }^{\ast }(y\mid x)$ 完全与 $\pi$ 无关。那么由于 KL 散度的最小值是 0，当且仅当两分布完全相同。那么这就代表该优化目标的最优点就是 $\pi ={\pi }^{\ast }$.

因此，通过上面一通变形和优化，我们直接得到了优化目标的结果：

$${\pi }_r(y\mid x)=\frac{1}{Z(x)}{\pi }_{\mathrm{ref}}(y\mid x)\exp (\frac{1}{\beta }r(x,y))$$

但是该答案中 $Z(x)$ 的计算是很昂贵的，因此到这的结果使用价值不高，需要继续操作。

对式子进行变形：

$$\begin{array}{rl}{\pi }_r(y\mid x)& =\frac{1}{Z(x)}{\pi }_{\mathrm{ref}}(y\mid x)\exp (\frac{1}{\beta }r(x,y))\\ \Rightarrow \log {\pi }_r(y\mid x)& =-\log Z(x)+\log {\pi }_{\mathrm{ref}}(y\mid x)+\frac{1}{\beta }r(x,y)\\ \Rightarrow r(x,y)& =\beta \log \frac{{\pi }_r(y\mid x)}{{\pi }_{\mathrm{ref}}(y\mid x)}+\beta \log Z(x)\end{array}$$

那么，我们就可以把我们要建模的潜奖励模型 $r^{\ast }(x,y)$ 也用上面的方式进行变换，回代到 Bradley-Terry 模型中，然后惊奇地发现难算的 $Z(X)$ 消掉了：

$$\begin{array}{rl}{p}^{\ast }(y_1\succ y_2\mid x)& =\frac{e^{r^{\ast }(x,y_1)}}{e^{r^{\ast }(x,y_1)}+e^{r^{\ast }(x,y_2)}}\\ & =\frac{1}{1+e^{r^{\ast }(x,y_2)-r^{\ast }(x,y_1)}}\\ & =\frac{1}{1+\exp (\beta \log \frac{{\pi }^{\ast }(y_2\mid x)}{{\pi }_{\mathrm{ref}}(y_2\mid x)}-\beta \log \frac{{\pi }^{\ast }(y_1\mid x)}{{\pi }_{\mathrm{ref}}(y_1\mid x)})}\end{array}$$

建模好奖励后，接下来就可以写出目标函数了：

$${\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\mathrm{ref}})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}[\log \sigma (\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\mathrm{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\mathrm{ref}}(y_l\mid x)})]$$

综上，DPO 就实现了将奖励模型隐含在语言模型，直接来进行偏好优化。