AI有嘻哈！
记者 | 阿司匹林
出品 | AI科技大本营
8月23日，“2018年全球高校学生DeeCamp AI训练营”在北大举行闭幕式，经过层层评比，来自全球高校的300学生组成的28支队伍选出了8支优胜队伍。其中，一只用AI自动生成嘻哈歌词的队伍获得了“最佳DEMO奖”。
AI写嘻哈歌词的水平如何？能达到以假乱真的地步吗？不看广告看疗效，我们先来猜猜下面的歌词哪些是AI写的：
不是乐理专修 做点儿曲式研究 我们的力量来自宇宙 自己的节奏
不是乐理专修 所有听的观众 打破他们传统 进到环球 继续让你感受
再来一个：
自己就带上了有色眼镜 金钱摧毁多少事情 瓦解你的中枢神经
自己就带上了有色眼镜 我只想把世界分的更清 却发现自己却模糊了心
正确答案是：第一行都是模型生成的，第二行是原作。可以看出，AI的效果还是不错的，至少挺押韵的。
那么，这个有嘻哈精神的团队到底是怎样搭建这个 AI 模型的？
首先我们需要定义这个问题，也就是根据一句歌词迭代生成一段嘻哈歌词。另外一个是押韵，这是嘻哈歌词一大特点。
清楚了问题，我们去调研一下已经有的文本声称方案，最终把它的优点和缺点列出来，然后我们选择了SequenceGAN作为基础模型，并且在这个之上提出我们的模型——SequenceGAN。
SequenceGAN 有两个组件，生成器、判读器，让生成器生成足以逼真的歌词。
我们在这个基础之上，有一个嘻哈生成网络。第一点是在这个之前我们增加了一个编码网络，将然后生成一些跟主题相关的歌词，第二点是把目标函数修改。
以下是SequenceGAN的效果，它有非常多的重复的语句，这就是GAN的一个通病，对于不同的输入，输出却很相同。
我们知道嘻哈歌手不可能一句话唱一整首，所以我们调研了一些文献，并且借鉴今年SentiGAN的想法，对生成器的目标函数进行修改，最后效果非常显著，有一个质的变化。
有了多样化的文本之后，我们下一步要解决的问题就是如何去实现押韵。我们尝试两种方案，一种是基于目标函数，增加押韵场景项，就好像考试的附加题，做对了给额外得分。但是我们希望它一直能够去做附加题，实现押韵的功能。但是它并不能很自主地学习到押韵的关。
▌附完整解读
项目作者：孙蒙新（厦门大学）、项瑞昌（华中科技大学）、伊玮雯（北京邮电大学）、陆亦扬（合肥工业大学）、石华（西南石油大学）、汪自力（西安电子科技大学）、庞雲升（重庆大学）、周子群（东北大学）、王超群（北京林业大学）、詹珏岑（Vandernilt University）
1、数据
我们一共使用了 10w 条嘻哈歌词，并且已经将一些不符合社会主义核心价值观的句子标注了出来。数据的预处理主要步骤如下：
在对句子进行筛选之后，我们利用 Jieba 进行分词，观察到单句长度集中在 8~10 左右；
在利用 Tensorflow 中的 Tokenizer 进行 tokenize 并构建 word2idex 字典后，词表大小在 11000 左右，考虑到这个大小还可以接受，没有做限制词表大小的操作；
利用 pad_sequence 将句子 padding 到 20（和 SeqGAN 中相同）；
构建 x-y pair，利用上一句预测下一句（导师后来建议可以借鉴用 Skip-gram 的思路，同时预测上一句和下一句，但没有时间去尝试了），分割数据集。
训练数据地址：
https://drive.google.com/drive/folders/1QrO0JAti3A3vlZlUemouOW7jC3K5dFZr）
2、模型
我们的生成模型的整体基于 SeqGAN，并对其做了一些修改，模型架构如下：
主要改动有两点：
1.增加输入语句的编码：这一点类似 Seq2Seq 的 Encoder，SeqGAN 原本的 initial state 是全 0 的，为了将上文的信息传递给生成器，我们采用了一个简单的全连接层（Fully Connected Layer），将输入句子的 Word Embedding 经过一个线性变化之后作为生成器的 LSTM。事实上也可以尝试使用 RNN（LSTM）来作为 Encoder，不过这样模型的速度可能会比较慢。
2.将原先 Generator 的 Loss Function 改为 Penalty-based Objective：在训练模型的过程中我们发现，模型在 Adversarial Training 多轮之后出现了严重的 mode collapse 问题，比如：
别质疑自己 遮罩错的消息不要过得消极 世间人都笑我太疯癫 世间人都笑我太疯癫 守护地狱每座坟墓 世间人都笑我太疯癫
你不知道rapper付出多少才配纸醉金迷 世间人都笑我太疯癫 但却从来没有心狠过 如果你再想听
你不知道rapper付出多少才配纸醉金迷 你不知道rapper付出多少才配纸醉金迷
可以看到“世间人都笑我太疯癫”和“你不知道rapper付出多少才配纸醉金迷”占据了我们生成的结果。mode collapse，简单来说就是输入的改变不会影响生成的结果。为此我们调研了一些 Paper，最终采用了SentiGAN 中提出的 Penalty-based Objective Function：
3、押韵
嘻哈歌词非常重要的一个特点就是句与句之间的押韵，我们在实现这一功能的时候尝试了两种方案：
1.Reward based，在 reward 函数上增加额外的押韵奖赏项， r(rhyme)：对 Generator 的生成的句子和输入的句子进行押韵的判断，如果押韵，则提供额外的奖赏。
2.Rule-based，生成时只对押韵的词进行采样：在生成句尾的词的概率分布时候，通过获取和输入句尾押韵的词，只在这些押韵的词进行采样。
方法一，如果能够通过设计 reward function 就能实现押韵的功能，那模型就是完全 end2end，非常 fancy 了。但是理想很丰满，现实很骨感，经过几天的调整押韵奖赏的权重，都没能看到押韵率（我们设置的用于检测押韵奖赏效果的指标，每个 batch 中和 input 押韵的句子的比例）的上升 。我们怀疑是这种奖赏的结合会让 Generator 产生混淆，并不能明确自己 reward 来自何处，应该需要更加具体的一些限制才能够实现这一方法。
方法二，一开始我是拒绝这么做的，用基于规则的方法不是我的理想。但是为了做出产品来，我还是屈服了。但还有一个问题摆在面前：怎么知道生成的是句尾呢?导师提醒我们，我们可以把输入倒过来。这是 NMT 中常用的一个手段，对于 LSTM，句子是真的还是反的差别不大，即使有差别，也可以通过一个 Bi-LSTM 来捕获不同顺序的信息。而为了知道哪些字词是押韵的，我们实现制作了一张 vocab_size x vocab_size 的大表 rhyme，如果两个词（index 分别为 i, j）押韵，则 rhyme[i, j] 非 0，否则为 0。
如上图所示，如果我们的输入为“你真美丽”，句尾词为“美丽”，韵脚为 i；最终采样结果只会在押韵的词中采样，示例的采样结果为“春泥”。
据此，我们就可以对生成过程的第一个词的词表分布进行一个 mask 操作，使得非押韵的词的概率都变成 0，就能够保证押韵了，代码片段如下：
# 获取 input 的最后一个词
first_token = self.inputs[:, 0] # (batch_size, 1)
# 控制押韵的概率, 现在设置为 1.0 ，即 100% 押韵
select_sampler = Bernoulli(probs=1.0, dtype=tf.bool)
select_sample = select_sampler.sample(sample_shape=self.batch_size)
# 获取对应的 index 押韵行
token_rhyme = tf.cast(tf.gather(self.table, first_token), tf.float32)
# 进行 mask
prob_masked = tf.where(select_sample, tf.log(tf.multiply(token_rhyme, tf.nn.softmax(o_t))),tf.log(tf.nn.softmax(o_t)))
# 根据 mask 之后的概率分布进行采样
next_token = tf.cast(tf.reshape(tf.multinomial(prob_masked, 1), [self.batch_size])
不过这个制表的过程比较耗费时间（大约跑了 3 个小时，i7）。另一种思路是可以根据韵脚对字词进行分类，将相同韵脚的词的 index 编到一起，这样我们可以通过获取每个词的韵脚来知道目标词的范围，而不用挨个的去判断是否押韵。
AI科技大本营现招聘内容运营实习生，有意者请将简历投至：gulei@csdn.net，期待你的加入！
工作要求：
熟练使用微信、今日头条等平台发布文章，并负责其他对外推广渠道的内容铺建，用户管理以及互动；
追踪AI领域动态，协助AI内容生产；
能保证每周三天的工作时间。
工作地点：
北京市朝阳区酒仙桥路10号院恒通商务园
相关内容
微信扫码咨询专知VIP会员