NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法

2019 年 4 月 24 日 PaperWeekly

研究动机

变分自编码器（Variational Auto-Ecnoders, VAEs）在自然语言处理的很多任务中都有应用。VAEs 的目标函数包括两项：1）重建项；2）KL 正则项。这两项可以用一个权重系数 beta 来调节平衡，通常情况下 beta 设置为常数 1。

当 VAEs 用到自然语言处理时，它的解码器 decoder 通常由一个自回归模型（auto-regressive model）实现。然而这样往往会导致训练过程中出现一个糟心的难题：KL 正则项会消失趋近 0。在实践中，这意味着学习到的特征将不再能够表达观测到的数据。本文的目的是希望能够找到一种策略去解决 KL 消失问题。

研究方法

本文提出一种只需要在训练过程中动态调节 beta 就能缓和 KL 消失的策略：Cyclical Annealing Schedule。它周期性地调节 beta ，在每一个周期内有两个阶段：1）beta 值从 0 增加 1；2）并在 beta=1 的时候训练 VAEs。以此多次重复这个周期 M 次（注意是多次）。

举个例子：下图的黑线就是 M=4 个周期，注意，当 M=1 时，我们就回归了以前的单调增加 beta 的方法，如下图的红线。

实验结果

两方面：1）我们可以通过可视化学习到的特征来洞察不同方法在训练中的表现，发现周期性调节 beta 可以循序渐进地让结果变好；2）我们在三个自然语言处理的任务上验证了算法的有效性，包括语言建模，对话生成，无监督特征学习。

创新点

1. 我们首先提出两条信息流恶性竞争去产生数据（two-path competition）的观点去阐释 KL 消失的问题。

2. 根据这个理论，我们可以解释为什么前面的固定或者调整 beta 的方法会有各自所对应的现象。在此基础上，我们提出一种简单重复周期性调整 beta 的策略去或者 KL 消失问题。

3. 请注意，我们的方法并没有增加额外计算量，在实践中很容易去实用，或者其它改变模型的方法去结合。比如，可以通过调用下面的函数来实现本文的 beta 策略：

def frange_cycle_linear(n_iter, start=0.0, stop=1.0,  n_cycle=4, ratio=0.5):
    L = np.ones(n_iter) * stop
    period = n_iter/n_cycle
    step = (stop-start)/(period*ratio) # linear schedule

    for c in range(n_cycle):
        v, i = start, 0
        while v <= stop and (int(i+c*period) < n_iter):
            L[int(i+c*period)] = v
            v += step
            i += 1
    return L

个人点评

先贴代码和博客链接：

Code:

https://github.com/haofuml/cyclical_annealing

MSR Blog:

https://www.microsoft.com/en-us/research/blog/less-pain-more-gain-a-simple-method-for-vae-training-with-less-of-that-kl-vanishing-agony/?OCID=msr_blog_klvanish_NAACL_tw

个人觉得两点比较有意思：1）对于 KL 消失的做出了的两条信息流竞争的阐释；2）算法简单，易用，有效。希望大家能从本文能有所收获，做出更加有效的方法。