Spherical Latent Spaces for Stable Variational Autoencoders
变分自编码器(VAE)在文本处理时的一个特点就是强大的编码器和解码器模型的结合,例如LSTM,只有简单的隐藏式分布。这些模型都有一个困难的优化问题,即有一个不良的局部最优值,其中变分后验总是等于先验,模型根本不使用隐藏变量。在这篇论文中,我们用另一种方法代替隐藏变量,称为von Mises-Fisher分布(vMF),将质量放在超球面单位的表面上。我们证明用这种方法不仅避免了KL崩溃,而且能在多种模型条件下给出更好的可能性。
地址:https://arxiv.org/abs/1808.10805v1
Multi-Hop Knowledge Graph Reasoning with Reward Shaping
多跳推理在知识图谱的问答问题中是一种高效的方法,可以通过强化学习设置进行表示,其中基于策略的智能体可以不断推理,直到到达目标。然而,一个未完成的知识图谱环境中,智能体经常会由于训练数据中的漏报接收到低质量的奖励,由此会损害测试中的泛化效果。所以我们提出了采用预训练过的单跳嵌入模型来估计奖励。
地址:https://arxiv.org/abs/1808.10568
Towards Effective Deep Embedding for Zero-Shot Learning
零次学习尝试通过虚拟的语义描述识别出从未见过的视觉样本类型,我们假设零次学习的关键是开发一块高效的嵌入空间,其中:1)视觉样本可以根据所属类型紧密地处于语义描述周围;2)不同类别的视觉样本彼此分离。为了这一目的,我们提出了一种简单但是高效的嵌入模型。
地址:https://arxiv.org/abs/1808.10075