7 Papers & Radios | SIGIR 2020奖项揭晓；谷歌β-LASSO算法实现最强多层感知机？

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周重要的论文包括 SIGIR 2020公布的各奖项获奖论文。

目录：

1. Controlling Fairness and Bias in Dynamic Learning-to-Rank

2. Towards Learning Convolutions from Scratch

3. Models Versus Satisfaction: Towards a Better Understanding of Evaluation Metrics

4. Reconstructing NBA Players

5. Few-Shot Generative Conversational Query Rewriting

6. Bundle Recommendation with Graph Convolutional Networks

7. Learning to Recommend with Social Trust Ensemble

8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Controlling Fairness and Bias in Dynamic Learning-to-Rank

• 作者：Marco Morik、Ashudeep Singh、Jessica Hong、Thorsten Joachims

• 链接：https://dl.acm.org/doi/pdf/10.1145/3397271.3401100

摘要： 排序算法是很多线上平台匹配用户与项目（如新闻、产品、音乐、视频等）的主要途径。在这类双边市场中，不仅用户可以从排序中获益，排序本身也决定了项目提供商（如出版商、卖家、艺术家等）的效益（如曝光度、收益等）。

但人们已经注意到，仅针对用户的效益进行优化（几乎所有 learning-to-rank 算法都是这样做的）对于项目提供商而言是不公平的。

因此，该研究提出 一种新型 learning-to-rank 方法，可以显式地对成组项目（如同一个出版商发布的文章）提供 merit-based 公平性保障 。具体而言，该研究提出了一种确保成组项目公平性的学习算法，它还可以同时基于隐式反馈数据学习排序函数。该算法以控制器的形式，集成公平性和效益的无偏估计器，在可用数据增多后可以对二者进行动态适应。

该研究提供了严谨的理论基础和收敛保证，此外实验结果表明，该算法具备高度的实用性和稳健性。

算法 1：朴素动态 LTR 算法。

推荐： 本文获得了 SIGIR 2020 最佳论文奖。

论文 2：Towards Learning Convolutions from Scratch

• 作者：Behnam Neyshabur

• 链接：https://arxiv.org/pdf/2007.13657.pdf

摘要： 卷积是计算机视觉架构中最重要的组件。随着机器学习趋向于减少专家偏见（expert bias）以及从数据中学习，那么很自然地，接下来的一步应该是从头开始学习类似卷积的结构。然而，事实证明这并不容易。例如，当前的 SOTA 架构搜索算法使用卷积作为一种已有的模块，而不是从数据中从头开始学习。

为了理解引起卷积的归纳偏置，研究者使用最小描述长度（MDL）作为指导原则，发现在某些情况下，它确实可以说明架构的性能。

为了用小的描述长度找出架构，研究者提出了 LASSO 算法的一个简单变体 β-LASSO 。将其应用于全连接网络进行图像分类任务时，它可以学习具备局部连接的架构，并且在 CIFAR-10 数据集上达到了 SOTA 准确率（85.19%），在 CIFAR-100 数据集上达到了 59.56% 的准确率，在 SVHN 上实现了 94.07% 的准确率，缩小了全连接网络和卷积网络之间的差距。

d-conv 和 s-conv 的网络架构以及缩放情况。

d-conv、s-conv、它们的变体以及 3-FC 模型在 CIFAR-10、CIFAR-100 和 SVHN 三个数据集上的测试准确率结果。

β-lasso 算法。

推荐： 谷歌新研究用 LASSO 算法的变体 β-LASSO 武装 MLP，将其在 CIFAR-10 数据集上的准确率提升到 85%。

论文 3：Models Versus Satisfaction: Towards a Better Understanding of Evaluation Metrics

• 作者：Fan Zhang、Jiaxin Mao、Yiqun Liu、Xiaohui Xie、Weizhi Ma、Min Zhang、Shaoping Ma

• 链接：https://dl.acm.org/doi/pdf/10.1145/3397271.3401162

摘要： 该研究想探讨与用户行为数据匹配良好的指标能否在估计用户满意度方面取得同样好的效果。为此， 该研究对比了不同指标在已经优化可以拟合用户行为的情况下，在估计用户满意度方面的性能 。

该研究在自己收集的数据集和公开可用的用户搜索行为数据集上进行了实验，结果表明能够拟合用户行为的评估指标在估计用户满意度反馈方面也能实现同样好的性能。该研究还调查了评估指标校准过程的可信度，从而发现调参所需的数据量。

此外，该研究为用户行为建模和满意度度量之间的一致性提供了实验支持，同时也为评估指标的调参过程提供了指引。

研究中收集的搜索反馈信息。

推荐： 本文获得 SIGIR 2020 最佳论文荣誉提名奖。

论文 4：Reconstructing NBA Players

• 作者：Luyang Zhu、Konstantinos Rematas、Brian Curless、Steve Seitz、Ira Kemelmacher-Shlizerman

• 链接：https://arxiv.org/pdf/2007.13303.pdf

摘要： 近来，基于单张图像的 3D 人体姿态和形状估计取得了巨大进展，但由于人体姿态、衣服建模和人体自遮挡等多方面的影响，当前最优的人体重建结果依然存在着误差。

在文中，来自华盛顿大学的研究者提出了 一种重建 NBA 球员的方法，该方法实现了新的 SOTA 性能 。该研究的关键在于一种创建 NBA 球员的姿态可调且带有皮肤的模型，以及一个提取自 NBA2K19 游戏的大型网格数据集。

基于这些模型，研究者以任何投篮姿态下穿衣球员的单张图片作为输入，并输出该球员的高分辨率网格和 3D 姿态。

整体流程。

提取自 NBA2K19 游戏的新的 NBA2K 数据集示例。

球员不同姿态下的服装细节。

真实图像上的球员重建结果。

推荐： 研究表明，该方法相较单图像的人体形态重建方法有了显著的性能提升。

论文 5：Few-Shot Generative Conversational Query Rewriting

• 作者：Shi Yu、Jiahua Liu、Jingqin Yang、Chenyan Xiong、Paul Bennett、Jianfeng Gao、Zhiyuan Liu

• 链接：https://dl.acm.org/doi/pdf/10.1145/3397271.3401323

摘要： 该研究提出了 一种对话查询重写的 few-shot 生成方法。研究者基于规则和自监督学习开发出两种方法，以使用大量临时搜索会话生成弱监督数据，并优化 GPT-2 以重写对话查询 。在 TREC Conversational Assistance Track 数据集上，该研究的弱监督 GPT-2 重写器仅使用非常少量的手动查询重写就能将准确率在原 SOTA 的基础上提升 12%。在零次学习（zero-shot learning）设置下，重写器仍然能够给出与之前的 SOTA 系统相当的结果。

该研究的分析表明：GPT-2 能够高效掌握任务句法并学习捕获上下文依赖关系，即使在涉及到组引用（group reference）和 long-turn dependencies 的困难情况下也是如此。

TREC CAsT 上的对话搜索示例。

不同场景中的性能。

推荐： 本文获得 SIGIR 2020 最佳短论文奖。

论文 6：Bundle Recommendation with Graph Convolutional Networks

• 作者：Jianxin Chang、Chen Gao、Xiangnan He、Depeng Jin、Yong Li

• 链接：https://dl.acm.org/doi/pdf/10.1145/3397271.3401198

摘要： 该研究针对捆绑推荐提出了 一种名为 BGCN（Bundle Graph Convolutional Network，捆绑图卷积网络）的图神经网络模型。BGCN 将用户 - 物品交互、用户 - 物品组合交互和物品组合 - 物品的从属关系统一到一张异构图里 。以物品节点为桥梁，用户和物品组合节点之间的图卷积传播让学得的表征能够捕获物品层面的语义。

通过基于 hard-negative 采样方法的训练，进一步区分用户对相似物品组合的细粒度偏好。该研究在两个真实数据集上进行实验，结果表明 BGCN 获得了显著的性能提升，比 SOTA 方法高出 10.77% 到 23.18%。

BGCN 模型架构图。

推荐： 本文获得 SIGIR 2020 最佳短论文荣誉提名奖。

论文 7：Learning to Recommend with Social Trust Ensemble

• 作者：Hao Ma、Irwin King、Michael R. Lyu

• 链接：https://www.cc.gatech.edu/~zha/CSE8801/CF/p203-ma.pdf

摘要： 为了更准确、更真实地建模推荐系统，该研究提出了 一种新型概率因子分析框架，它可以自然地将用户及其信任朋友的喜好融合在一起 。在这个框架中，研究人员还创造了一个新术语「社会信任集合（Social Trust Ensemble）」，用来表示社会信任对推荐系统的限制。

复杂性分析表明，由于该方法随着观察值数量呈线性缩放，因而它可以应用到超大规模数据集中。此外，实验结果也表明，该方法的性能优于当时的 SOTA 方法。

基于信任的推荐示例。

图模型。

推荐： 本文获得了 SIGIR 2020 时间检验奖。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. SummEval: Re-evaluating Summarization Evaluation.  (from Richard Socher, Dragomir Radev)

2. Large Scale Subject Category Classification of Scholarly Papers with Deep Attentive Neural Networks.  (from Jian Wu, C Lee Giles)

3. Towards Ecologically Valid Research on Language User Interfaces.  (from Dzmitry Bahdanau)

4. Characterizing the Effect of Sentence Context on Word Meanings: Mapping Brain to Behavior.  (from R. Miikkulainen)

5. GUIR at SemEval-2020 Task 12: Domain-Tuned Contextualized Models for Offensive Language Detection.  (from Ophir Frieder)

6. SalamNET at SemEval-2020 Task12: Deep Learning Approach for Arabic Offensive Language Detection.  (from Ozlem Uzuner)

7. The Return of Lexical Dependencies: Neural Lexicalized PCFGs.  (from Graham Neubig)

8. Exploiting stance hierarchies for cost-sensitive stance detection of Web documents.  (from Asif Ekbal)

9. JUNLP@SemEval-2020 Task 9:Sentiment Analysis of Hindi-English code mixed data.  (from Dipankar Das)

本周 10 篇 CV 精选论文是：

1. Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild.  (from Deva Ramanan, Jitendra Malik)

2. Learning Video Representations from Textual Web Supervision.  (from Jia Deng, Rahul Sukthankar, Cordelia Schmid)

3. Rewriting a Deep Generative Model.  (from Jun-Yan Zhu, Antonio Torralba)

4. Active Learning for Video Description With Cluster-Regularized Ensemble Ranking.  (from John Canny)

5. Cassandra: Detecting Trojaned Networks from Adversarial Perturbations.  (from Rohit Gupta, Mubarak Shah)

6. Perpetual Motion: Generating Unbounded Human Motion.  (from Yan Zhang, Michael J. Black)

7. What My Motion tells me about Your Pose: Self-Supervised Fine-Tuning of Observed Vehicle Orientation Angle.  (from Tinne Tuytelaars)

8. Visual Compositional Learning for Human-Object Interaction Detection.  (from Yu Qiao, Dacheng Tao)

9. The Surprising Effectiveness of Linear Unsupervised Image-to-Image Translation.  (from Yair Weiss)

10. Contrastive Learning for Unpaired Image-to-Image Translation.  (from Alexei A. Efros, Jun-Yan Zhu)

本周 10 篇 ML 精选论文是：

1. A Commentary on the Unsupervised Learning of Disentangled Representations.  (from Gunnar Rätsch, Bernhard Schölkopf)

2. Dynamic Federated Learning Model for Identifying Adversarial Clients.  (from Francisco Herrera)

3. Fast, Structured Clinical Documentation via Contextual Autocomplete.  (from David Karger)

4. openXDATA: A Tool for Multi-Target Data Generation and Missing Label Completion.  (from Rosalind W. Picard)

5. Predictive Information Accelerates Learning in RL.  (from Honglak Lee, John Canny, Sergio Guadarrama)

6. Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning.  (from Pierre Baldi, Daniel L. Gillen)

7. PixL2R: Guiding Reinforcement Learning Using Natural Language by Mapping Pixels to Rewards.  (from Raymond J. Mooney)

8. Explore More and Improve Regret in Linear Quadratic Regulators.  (from Babak Hassibi)

9. Detecting Anomalous Inputs to DNN Classifiers By Joint Statistical Testing at the Layers.  (from Somesh Jha)

10. Stable Learning via Causality-based Feature Rectification.  (from Xiaofei He, Deng Cai, Xian-Sheng Hua)