【学界】CVPR2019 | OCGAN: 使用具有约束潜在表示的GAN的一类新颖性检测

来源 | 极市平台

最近刷文献看到了CVPR19接收的一篇论文：《OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations》。作者来自约翰霍普金斯大学。正好自己做的方向也是异常行为检测，就解读一下这篇文章。

论文链接：https://arxiv.org/abs/1903.08550

1. Novelty Detection

中文翻译过来 新奇检测，不完全等同于异常检测。通俗来讲就是训练样本中只有单类（one-class）样本，测试中需要检测到不属于该类的样本。常用的方法有基于差异度量（重构误差）和基于分布（GMM）。对于基于距离度量方法，常用就是auto-encoder，通过单类样本训练一个AE，我们期望它对该类重构的误差越小越好，同时对于其他类样本，由于训练过程中没有见过，产生的重构误差应该较大。

但这有个问题，AE的capacity比较强，很难保证对于其他类样本重构较差，这在其他文献中也有出现。该文作者发现，我们不仅需要1)单类样本在隐空间（latent space）中被很好表示，2)同时希望其他类样本在该空间不能被很好表示。之前的工作大部分局限在前半部分1)，而忽视了后半部分2）。基于此，作者提出自己的构想--->>如果整个隐空间被限制为表示给定类的图像，那么其他类(outof- class)样本的表示将认为在该空间几乎不存在(minimal)——从而为它们产生很高重构误差。

2. OCGAN

OCGAN有四部分组成：

①去噪编码器(denoising ae) ②隐判别器(latent discriminator)

③图像判别器(visual discriminator) ④分类器(classifier)

我们一一讲解其作用。

1、去噪编码器(denoising AE)

AE的主要作用就是学习特征表示（feature representation）。其瓶颈层的输出即为表示，其所在空间即为隐空间。为了使得隐空间有界，作者使用了tanh，将其空间的值限定在[-1,1]。该AE的loss即为均方误差（mse）。

BTW：使用去噪AE的原因是因为去噪AE可以降低过拟合，提高泛化能力。

2. 隐判别器(latent discriminator)

如前所述，该动机是获得一个隐空间，空间中的每个实例表示给定类的图像。如果给定类的表示仅限于潜在空间的子区域，则无法实现此目标。因此，我们显式地强制给定类的表示均匀的分布在整个隐空间。做法如下：

构建一个判别器  ,来判别给定类的表示和来在 的样本。其损失函数：

3. 图像判别器(visual discriminator)

动机：隐空间的所有样本通过decoder（或者叫generator）生成的图像应该来自于给定类的图像的空间。为了满足这个约束，构建第二个判别器,来判别给定类的图像和从隐空间随机采样通过decoder之后生成的图像。损失函数如下：

---

至此构成整个论文的核心。但是作者发现，即使这样，从隐空间中采样生成的图像有时候也很难对应于给定类图像。这是因为隐空间太大了，完全采样到是不可能的。于是不如主动去发现隐空间中的那些产生poor的图像的区域。

4. 分类器

分类器的作用是判别生成的图像和给定类的图像的相似度。使用给定类图像作为正样本，生成图像作为负样本。该分类器的损失函数为二类交叉熵(BCE)。

这个部分说的比较绕口，大家还是去看原文吧。。。。2333

5. 最终结构

训练方式如下：

交替优化的方式：

第一步 固定住除分类器之外的所有部件。优化分类器

第二部 固定分类器，优化AE和判别器。

网络结构不做过大阐述了，参考原文吧。

3. Experiment

罗列一些实验结果

消融实验：

个人感觉这个论文创意是很不错的，很大程度了弥补了之前novelty detection方法的不足。也希望志同道合的小伙伴一起讨论。

高质量延伸阅读

☞ OpenPV平台发布在线的ParallelEye视觉任务挑战赛

☞【学界】第1届“智能车辆中的平行视觉”研讨会成功举行

☞【学界】生成式对抗网络：从生成数据到创造智能

☞【学界】OpenPV：中科院研究人员建立开源的平行视觉研究平台

☞【学界】基于平行视觉的特定场景下行人检测

☞【学界】ParallelEye：面向交通视觉研究构建的大规模虚拟图像集

☞【CFP】Virtual Images for Visual Artificial Intelligence

☞【最详尽的GAN介绍】王飞跃等：生成式对抗网络 GAN 的研究进展与展望

☞【智能自动化学科前沿讲习班第1期】王飞跃教授：生成式对抗网络GAN的研究进展与展望

☞【智能自动化学科前沿讲习班第1期】王坤峰副研究员：GAN与平行视觉

☞【重磅】平行将成为一种常态：从SimGAN获得CVPR 2017最佳论文奖说起

☞【平行讲坛】平行图像：图像生成的一个新型理论框架

☞【学界】基于生成对抗网络的低秩图像生成方法

☞【学界】Ian Goodfellow等人提出对抗重编程，让神经网络执行其他任务

☞【学界】六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步

☞【资源】T2T：利用StackGAN和ProGAN从文本生成人脸

☞【学界】 CVPR 2018最佳论文作者亲笔解读：研究视觉任务关联性的Taskonomy

☞【业界】英特尔OpenVINO™工具包为创新智能视觉提供更多可能

☞【学界】ECCV 2018: 对抗深度学习: 鱼 (模型准确性) 与熊掌 (模型鲁棒性) 能否兼得 

☞【学界】何恺明组又出神作！最新论文提出全景分割新方法