For distributions $\mathbb{P}$ and $\mathbb{Q}$ with different supports or undefined densities, the divergence $\textrm{D}(\mathbb{P}||\mathbb{Q})$ may not exist. We define a Spread Divergence $\tilde{\textrm{D}}(\mathbb{P}||\mathbb{Q})$ on modified $\mathbb{P}$ and $\mathbb{Q}$ and describe sufficient conditions for the existence of such a divergence. We demonstrate how to maximize the discriminatory power of a given divergence by parameterizing and learning the spread. We also give examples of using a Spread Divergence to train implicit generative models, including linear models (Independent Components Analysis) and non-linear models (Deep Generative Networks).
翻译：对于使用不同支持或未定义密度的分布 $\ mathbb{P} $ 和 $\ mathbb} $ 美元, 差异 $\ textrm{D} (\ mathb{P}) 可能不存在差值 $\ textbb{D} (\ mathbb{P}} 美元 美元 和 $\ mathbbb $ 美元 。 我们用修改 $\ mathbb{P} $ 和 $\ mathbbbb} 来定义 分散差异 $\ textrm{D} (\ mathbb{D} (\ mathb{P}) 美元 和 $\ mathbb $ ($) 美元, 描述存在这种差异的足够条件 。 我们通过参数化和学习扩展来展示如何最大限度地扩大给定差异的差异的歧视性力量 。 我们还举例说, 使用 使用 Exprelate diffvergence 来训练隐含基因模型,,, 包括线型模型( deep Geneep Genegration Netnetworks)。
相关内容
微信扫码咨询专知VIP会员