7 papers | 华为、MIT韩松论文；DeepMind开源OpenSpiel；目标检测算法全面综述

机器之心整理

参与：一鸣

本周重点的研究有华为莫斯科研究院和莫斯科国立大学提出的新型对抗样本攻击方法、MIT韩松等的新论文、DeepMind开源的OpenSpiel等。其他还有微众银行杨强等提出的内容推荐新模型、对BERT的反思、GAN在时尚领域的研究，以及目标检测算法综述等。

目录：

1. AdvHat: Real-world adversarial attack on ArcFace Face ID system
2. Revealing the Dark Secrets of BERT
3. Generating High-Resolution Fashion Model Images Wearing Custom Outfits
4. Once for All: Train One Network and Specialize it for Efficient Deployment
5. OpenSpiel: A Framework for Reinforcement Learning in Games
6. Beyond Personalization: Social Content Recommendation for Creator Equality and Consumer Satisfaction
7. Deep Learning for Generic Object Detection: A Survey

论文 1： AdvHat: Real-world adversarial attack on ArcFace Face ID system

• 作者：Stepan Komko、Aleksandr Petiushko
• 论文链接：https://arxiv.org/pdf/1908.08705

摘要 ：在这篇论文中，研究者们提出了一种全新且易于复现的技术 AdvHat，可以在多种不同的拍摄条件下攻击目前最强的公共 Face ID 系统。想要实现这种攻击并不需要复杂的设备——只需在彩色打印机上打印特定的对抗样本，并将其贴到你的帽子上，而对抗样本的制作采用了全新的算法，可在非平面的条件下保持有效。研究人员称，这种方法已经成功地破解了目前最先进的 Face ID 模型 LResNet100E-IR、ArcFace@ms1m-refine-v2，其攻击方式也可以迁移到其他 Face ID 模型上。

AI 人脸识别系统在正常情况下的分类效果，它识别出了特定的人：Person_1。

贴上纸条以后，即使没有遮住脸，系统也会把 Person_1 识别成另外一些人「0000663」和「0000268」等。

变换角度、改变光照条件都不会改变错误的识别效果。加了贴纸后，可以看到 Person_1 的概率非常低。

图 2：攻击流程示意图。

推荐 ：本文是华为莫斯科实验室和莫斯科国立大学合作的项目，第一次实现了实时对抗样本攻击，而且多模型通用。

论文 2： Revealing the Dark Secrets of BERT

• 作者：Olga Kovaleva、Alexey Romanov、Anna Rogers、Anna Rumshisky
• 论文链接：https://arxiv.org/pdf/1908.08593.pdf

摘要 ：目前，基于 BERT 的架构在诸多自然语言处理任务中表现出了 SOTA 性能，但促成这类架构成功的具体机制却很少有人知道。在当前的研究工作中，研究人员侧重于自注意力的解读，它是 BERT 基本的底层组件之一。在本文中，借助于 GLUE 任务子集和一组感兴趣的 handicrafted 特征，研究者提出了一种方法论，并对单个 BERT 头（BERT head）所编码的信息进行定性和定量分析。分析结果显示，一组受限的注意力机制会在不同的 head 之间重复出现，这表明总体模型出现过度参数化。虽然不同的 head 始终使用相同的注意力机制，但在不同任务中对性能的影响也不同。研究表明，与常规微调 BERT 模型相比，手动禁用某些 head 中的注意力可以提升性能。

禁用了一部分注意力头之后模型在特定任务上的表现。图表说明，在禁用了一部分注意力头之后，模型效果（深紫色）反而比基线结果（橘色线）更好了。

推荐 ：本文是 EMNLP 2019 接收论文。利用对 BERT 结构的拆解过程研究注意力机制可解释性，非常适合还不熟悉 BERT 的读者从另一个角度审视预训练大型语言模型的架构、各个模块的功能和含义。

论文 3： Generating High-Resolution Fashion Model Images Wearing Custom Outfits

• 作者：Gokhan Yildirim、Nikolay Jetchev、Roland Vollgraf、Urs Bergmann、Zalando Research
• 论文链接：https://arxiv.org/pdf/1908.08847.pdf

摘要 ：买衣服时必须要考虑搭配。由于时尚物品组合方面的问题，可用图像仅限于预先确定的一套服装。在本文中，研究者通过生成身穿定制化服装的模特在输入身体姿态下的高分辨率图像，扩展了这些可视化图像。实验表明，研究者所用的方法不仅可以转换两套服装的风格和姿态，而且可以创建逼真的人体姿态和服装图像。

根据给定的服装图像和模特姿势生成特定造型的模型示意图。

根据上中的颜色、上右的模特姿势，在左下模特身上实现不同的穿衣和姿势效果。

推荐 ：本文入选 ICCV 2019 艺术和设计 Workshop。虽然使用 GAN 进行图像生成不是一件新鲜事，但是这是极少数的在时尚领域进行的应用。做算法的读者朋友可以参考，将算法的研究成果和现实场景结合起来。

论文 4：Once for All: Train One Network and Specialize it for Efficient Deployment

• 作者：Han Cai、Chuang Gan、Song Han

• 论文链接：https://arxiv.org/pdf/1908.09791.pdf

摘要 ：将神经网络部署在各种硬件平台时，不同的部署场景需要匹配的网络架构，同时网络还要尽可能精简。传统的做法是手动设计、或者使用 AutoML 搜索网络架构，之后针对每个不同网络重新进行训练。这样的做法成本很高，也不具有扩展性。随着需要部署的环境数量增加，这种做法的成本呈线性上升。本文提出了一种名为「一次构建、处处部署（Once for all：OFA）」的方法，可以高效设计神经网络架构，并同时处理多种部署情况。研究人员的方法摒弃了给每一种情况设计一个专门模型的做法，而是提出训练一个网络，支持多种架构设定（网络深度、宽度、核大小和清晰度等）。给定部署场景后，网络可以搜索出一个特定的子网络。这个子网络是从原始网络中搜索出来的，而且不需要训练。

图 1：左图：当训练了一个网络后，根据部署条件的不同，从该网络中搜索出一个子网络。中图：这样的搜索方法的设计成本从 O(N) 降低到了 O(1)。右图：相比其他网络，论文提出的方法能够在降低延迟的情况下更好地提升效果。

图 2：阶段性缩减流程示意。

推荐 ：本文作者为 MIT 的韩松教授等，从搜索子图的角度提出了 NAS 的替代方法。读者朋友可以参考其中的思想。

论文 5：OpenSpiel: A Framework for Reinforcement Learning in Games

• 论文作者：Marc Lanctot, Edward Lockhart, Jean-Baptiste Lespiau 等

• 论文链接：https://arxiv.org/pdf/1908.09453v1.pdf

Open-spiel 支持的游戏一览

平台支持的算法一览

石头剪刀布游戏中的策略可视化。

推荐 ：本文是 DeepMind 为强化学习开发的多游戏、多人博弈实验平台。这样一种强化学习平台目前是很少见的，强化学习领域的研究者可以参考使用方法，为自己的算法进行部署。

论文 6：Beyond Personalization: Social Content Recommendation for Creator Equality and Consumer Satisfaction

• 作者：Wenyi Xiao、Huan Zhao、Haojie Pan、Yangqiu Song、Vincent W. Zheng、Qiang Yang

• 论文链接：https://sci-hub.tw/https://doi.org/10.1145/3292500.3330965

摘要：本文现代社交媒体平台中的有效内容推荐应该既可以使创作者真正获益，也能够帮助消费者获得切实感兴趣的内容。本论文提出了一种用于内容推荐的社交探索注意力网络（SEAN）模型。SEAN 使用个性化内容推荐模型可以按照用户个人兴趣进行推荐。此外，该模型还可以运用个性化因素来处理用户在社交网络上的高阶朋友，以提高推荐结果的准确性和多样性。研究者在广受欢迎的分散内容分发平台——Steemit 上构建了两个数据集，将 SEAN 与协同过滤方法和基于内容的推荐方法进行比较。实验结果证明，SEAN 无论是在推荐平等的基尼系数和推荐性能的 F1 得分方面均十分有效。

SEAN 的架构。左侧为社交探索模块，为右侧的系统探索用户在社交网络中的高阶朋友。将这些朋友与用户学习到的兴趣知识表示合并，分别建立了单词级和句子级的用户表示向量。右侧是神经网络结构，使用 CNN 将单词编码到 GRU 层，随后将句子编码到文档中。

推荐 ：本文是 KDD2019 大会接收的一篇论文，作者是微众银行的杨强等。论文提出的推荐算法，有可能给现有的基于协同过滤的算法带来更好的性能提升。

论文 7：Deep Learning for Generic Object Detection: A Survey

• 作者：Li Liu、 Wanli Ouyang、Xiaogang Wang、Paul Fieguth、Jie Chen、Xinwang Liu、Matti Pietika ̈inen

• 论文链接：https://arxiv.org/pdf/1809.02165v4.pdf

摘要 ：目标检测是计算机视觉领域最根本和具有挑战性的问题之一，旨在从自然图像中的大量预定义类中定位出目标实例。深度学习技术已经成为直接从数据中学习特征表征的一种强大策略，并在通用目标检测领域取得了重大突破。本文综述了近来深度学习技术在通用目标检测领域所带来的进展，包含 300 多项研究贡献，涉及该领域的诸多方面，如检测框架、目标特征表征、目标建议生成、情境建模、训练策略和评估指标。文章结尾则确定了未来有前途的研究方向。

推荐 ：目标检测一直是 CV 领域的重点研究方向。本文全面综述了目标检测相关的算法和进展，值得读者阅读参考。