7 Papers & Radios | 华为诺亚端到端车道线检测新方法；网络表示学习综述

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周的重要论文包括华为诺亚方舟实验室联合中山大学提出的新型车道线检测方法，以及发表在《计算机科学》杂志上的网络表示学习综述。

1. High-Resolution Deep Image Matting

2. Equilibrium Finding for Large Adversarial Imperfect-Information Games

3. Table2Charts: Learning Shared Representations for Recommending Charts on Multi-dimensional Data

4. CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending

5. Transfer Learning in Deep Reinforcement Learning: A Survey

6. Survey of Network Representation Learning

7. Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning

8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：High-Resolution Deep Image Matting

• 作者：Haichao Yu、Ning Xu、Zilong Huang 等

• 论文链接：https://arxiv.org/pdf/2009.06613.pdf

摘要： 抠图是图像和视频编辑与合成的关键技术。通常，深度学习方法会以整个输入图像和相关的 trimap 作为输入，使用卷积神经网络来推断前景蒙版（alpha matte）。这种方法在图像抠图领域实现了 SOTA 结果。但是，由于硬件限制，这些方法在实际的抠图应用中可能会失败，因为现实世界中需要抠图的输入图像大多具备很高的分辨率。

近日， 来自伊利诺伊大学香槟分校（UIUC）、Adobe 研究院和俄勒冈大学的研究者提出了一种名为 HDMatt 的新方法，这是首个处理高分辨率输入图像的深度学习抠图方法 。大量实验表明了该方法的有效性及其对于高分辨率输入图像的必要性。

HDMatt 方法的整体框架。

CPC 模块的工作流程。

这些方法（包括 IndexNet 和 ContextNet）的实际效果对比。

推荐： HDMatt 方法在 Adobe Image Matting 和 AlphaMatting 基准上均实现了新的 SOTA 性能，并且在更真实的高分辨率图像上获得了优秀的效果。

论文 2：Equilibrium Finding for Large Adversarial Imperfect-Information Games

• 作者：Noam Brown

• 论文链接：http://www.cs.cmu.edu/~noamb/thesis.pdf

摘要： 本文作者 Noam Brown 现为 Facebook 人工智能实验室的研究科学家。这篇博士论文详述了大型对抗性不完美信息博弈中均衡计算的一系列进展。这些新技术使得 AI 智能体首次有可能在无限注扑克游戏中击败顶级职业玩家，而这正是几十年来 AI 和博弈论领域一直存在的重大挑战性难题。

推荐： 这位大神曾创建了冷扑大师和 Pluribus，如今要博士毕业了！

论文 3：Table2Charts: Learning Shared Representations for Recommending Charts on Multi-dimensional Data

• 作者：Mengyu Zhou、Qingtao Li、Yuejiang Li 等

• 论文链接：https://arxiv.org/pdf/2008.11015.pdf

摘要： 为多维数据集创建图表（表格）是销售、人力资源、投资、工程、科研、教育等许多领域的常见应用。为了执行常规分析和发现见解，人们花费大量时间构建不同类型的图表来展示不同的观点。这个过程通常需要数据分析方面的专业知识和广泛的知识储备来创建适当的图表。有没有可能通过智能的方式来创建图表呢？

近日， 由微软研究院、北京大学和清华大学共同发表了一篇论文，文中提出的新型图表推荐框架 Table2Charts 可以高效地解决创建图表问题 。在具有 196000 个表和 306000 个图表的大型电子表格语料库中，该研究展示了 Table2Charts 可以学习表字段的共享表示，这样不同图表类型的任务就可以相互增强。

DQN 的模型架构。

评价结果。混合和迁移范式（Transfer）通常比单独训练（Lone）和仅混合模式（Mixed）效果更好。Transfer 的评价标准 R@1 超过了其他两种方法。

每个点代表一个字段，颜色代表其字段类型。图中可以清楚地看到通过嵌入学得的字段类型信息。

推荐： 面对数据表时，很多人通常不清楚应该创建什么样的图表分析。在这种场景中，你需要一个智能助手，可以帮你更好的生成图表分析。

论文 4：CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending

• 作者：Hang Xu、Shaoju Wang、Xinyue Cai 等

• 论文链接：https://arxiv.org/pdf/2007.12147.pdf

摘要： 在本文中， 来自华为诺亚方舟实验室和中山大学的研究者提出了一种端到端的车道线架构搜索框架 ，CurveLane-NAS 该框架旨在解决现阶段车道线检测模型计算量大且不大适宜落地的难题。

不同方法下的车道检测实测比较。

模型架构图。

网络架构搜索流程图。

推荐： 实验表明，该框架在 CULane 等公开数据集上实现了新的 SOTA。

论文 5：Transfer Learning in Deep Reinforcement Learning: A Survey

• 作者：Zhuangdi Zhu、Kaixiang Lin、Jiayu Zhou

• 论文链接：https://www.zhuanzhi.ai/paper/c191868037791b353ce96764d282debe

摘要： 在本文中， 来自密歇根州立大学的研究者对强化学习（RL）问题设置中的迁移学习进行了综述 。

他们回顾了强化学习领域中迁移学习的焦点问题，提供了当前最优技术的系统分类。研究者分析了这些方法的目标、方法论和应用，还从强化学习的角度探讨了迁移学习与其他相关主题的关系。最后探讨了强化学习中迁移学习的潜在挑战和未来发展方向。

本研究涵盖的主题。

策略迁移方法的比较。

任务之间（inter-task）映射方法的比较。

推荐： 一作 Zhuangdi Zhu 为密歇根州立大学计算机科学与工程系博士生。

论文 6：Survey of Network Representation Learning

• 作者：Ding Yu、Wei Hao、Pan Zhi-Song、Liu Xin

• 论文链接：http://www.jsjkx.com/CN/10.11896/jsjkx.190300004

摘要： 网络是一系列节点和边的集合，通常表示成一个包含节点和边的图。许多复杂系统都以网络的形式来表示，如社交网络、生物网络和信息网络。为了使网络数据的处理变得简单有效，针对网络中节点的表示学习成为了近年来的研究热点。网络表示学习旨在为网络中的每个节点学习一个低维稠密的表示向量，进而可将得到的向量表示运用到常见的网络分析任务中，如节点聚类、节点分类和链路预测等。

然而，绝大多数真实网络节点都有丰富的属性信息，如社交网络中的用户资料和引文网络中的文本内容。网络的属性信息对网络表示具有重要的作用，当网络高度稀疏时，网络的属性信息是网络表示重要的辅助信息，有助于更好地学习网络表示。传统的邻接矩阵仅仅表示了边的信息，而无法加入节点的属性信息。网络表示不仅要保存网络的结构信息，还要保存网络的属性信息。此外，大多数真实世界网络都是动态变化的，这种变化包括网络节点的增加和减少，以及网络边的新建和消失。同时，与网络结构变化相似，网络中的属性也会随着时间的推移发生变化。

随着机器学习技术的发展，针对网络表示学习问题的研究成果层出不穷， 文中将针对近年来的网络表示学习方法进行系统性的介绍和总结 。

DRNE 的框架。

DANE 框架图解。

DynGem 动态图嵌入模型。

推荐： 本文在《计算机科学》（Computer Science）杂志上发表。

论文 7：Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning

• 作者：Xun Wang、Xintong Han、Weiling Huang 等

• 论文链接：https://arxiv.org/pdf/1904.06627.pdf

摘要： 度量学习旨在学习一个嵌入空间，在这个空间中，相似样本的嵌入向量被拉近，不同样本的嵌入向量被推远。

在这篇论文中， 来自码隆科技的研究者提出利用多相似度损失（Multi Similarity Loss）实现这一目标，并在公共基准数据集上得到了验证 。

多相似度损失的目标。

不同方法在 Cars-196 数据集上的结果比较。

嵌入大小（embedding size）对多相似度损失的影响。

推荐： 该方法充分考虑了 batch 中整体距离分布的对比损失函数。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Generation-Augmented Retrieval for Open-domain Question Answering.  (from Jianfeng Gao, Jiawei Han)

2. Hierarchical GPT with Congruent Transformers for Multi-Sentence Language Models.  (from Soo-Young Lee)

3. Lifelong Learning Dialogue Systems: Chatbots that Self-Learn On the Job.  (from Bing Liu)

4. SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness.  (from Kyunghyun Cho)

5. Unsupervised Parallel Corpus Mining on Web Data.  (from Yiming Yang)

6. Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph.  (from Minlie Huang)

7. Generating Commonsense Explanation by Extracting Bridge Concepts from Reasoning Paths.  (from Minlie Huang)

8. Task-Oriented Dialogue as Dataflow Synthesis.  (from Jason Eisner, Dan Roth)

9. Structured Attention for Unsupervised Dialogue Structure Induction.  (from Song-Chun Zhu)

10. RealToxicityPrompts: Evaluating Neural Toxic Degeneration in Language Models.  (from Noah A. Smith)

本周 10 篇 CV 精选论文是：

1. Synthetic Convolutional Features for Improved Semantic Segmentation.  (from Bernt Schiele)

2. PennSyn2Real: Training Object Recognition Models without Human Labeling.  (from Camillo J. Taylor, Vijay Kumar)

3. Progressive Semantic-Aware Style Transformation for Blind Face Restoration.  (from Lei Zhang)

4. 6-DoF Grasp Planning using Fast 3D Reconstruction and Grasp Quality CNN.  (from Harry Zhang)

5. Searching for Low-Bit Weights in Quantized Neural Networks.  (from Dacheng Tao)

6. Reinforcement Learning for Weakly Supervised Temporal Grounding of Natural Language in Untrimmed Videos.  (from Jie Wu)

7. Scene Graph to Image Generation with Contextualized Object Layout Refinement.  (from Lior Wolf)

8. Smartphone Camera De-identification while Preserving Biometric Utility.  (from Arun Ross)

9. Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion.  (from Marc Pollefeys)

10. Dense Forecasting of Wildfire Smoke Particulate Matter Using Sparsity Invariant Convolutional Neural Networks.  (from Raymond Ng)

本周 10 篇 ML 精选论文是：

1. A Unifying Review of Deep and Shallow Anomaly Detection.  (from Thomas G. Dietterich, Klaus-Robert Müller)

2. Text Classification with Novelty Detection.  (from Bing Liu)

3. Uncertainty-aware Attention Graph Neural Network for Defending Adversarial Attacks.  (from Zheng Wang)

4. Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time.  (from Tomas Lozano-Perez, Leslie Pack Kaelbling)

5. Federated Learning with Nesterov Accelerated Gradient Momentum Method.  (from Albert Y. Zomaya)

6. Improving Medical Annotation Quality to Decrease Labeling Burden Using Stratified Noisy Cross-Validation.  (from Jonathan Krause)

7. Online AUC Optimization for Sparse High-Dimensional Datasets.  (from Steven Skiena)

8. Neurocoder: Learning General-Purpose Computation Using Stored Neural Programs.  (from Svetha Venkatesh)

9. A Contraction Approach to Model-based Reinforcement Learning.  (from Peter J. Ramadge)

10. Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective.  (from Yuanqing Xia)