7 Papers & Radios | 人类首次实现高压下室温超导；可变形DETR目标检测器

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周的重要论文包括人类首次实现高压下室温超导的研究，以及商汤等提出的升级版 DETR 端到端目标检测器。

目录：

1. Principles and Practice of Explainable Machine Learning*

2. A Survey of Deep Meta-Learning

3. Deformable DETR: Deformable Transformers for End-to-End Object Detection

4. CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning

5. Short-Term Solar Irradiance Forecasting Using Calibrated Probabilistic Models

6. Explaining Deep Neural Networks

7. Room-temperature superconductivity in a carbonaceous sulfur hydride

8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文1：Principles and Practice of Explainable Machine Learning*

• 作者：Vaishak Belle、Ioannis Papantonis

• 论文链接：https://arxiv.org/pdf/2009.11698.pdf

摘要： 在本文中， 来自爱丁堡大学的研究者进行了一项有关可解释机器学习原理和实践的调查 ，以帮助领域从业者以及更广泛的数据科学家更好地理解可解释机器学习，并应用正确的工具。

可解释方法概览。

可解释人工智能（XAI）方法比较。

各种解释的优缺点。

推荐： 这篇文章详尽全面地综述了可解释机器学习领域的各个方面知识。

论文2：A Survey of Deep Meta-Learning

• 作者：Mike Huisman、Jan N. van Rijn、Aske Plaat

• 论文链接：https://arxiv.org/pdf/2010.03522.pdf

摘要： 近年来，深度元学习领域正经历高速发展的时期，但却没有对当前已有技术统一且深入的综述。所以， 来自荷兰莱顿大学的研究者在这篇论文中不仅为读者提供了理论基础，还研究和总结了主要的方法，包括度量、模型和基于优化的技术等 。

多任务学习和元学习之间的区别。

三种不同的深度元学习类别。

本文涉及的深度元学习方法。

推荐： 这篇深度元学习综述论文长达59页，想要了解该领域的读者值得一读。

论文3：Deformable DETR: Deformable Transformers for End-to-End Object Detection

• 作者：Xizhou Zhu、Weijie Su、Lewei Lu等

• 论文链接：https://arxiv.org/abs/2010.04159

摘要：今年 5 月底，Facebook AI 提出了 DETR，利用 Transformer 去做目标检测，该方法去除了许多目标检测中的人工设计组件，同时展现了非常好的性能。但是，DETR 存在收敛速度慢和特征分辨率有限等缺陷。为了解决这些问题，来自商汤研究院等机构的研究者提出了可变形 DETR，其注意力模块仅关注于参考点附近的一小部分采样点作为注意力模块中的 key 元素。可变形 DETR 可以在比 DETR 少 9/10 的训练轮数下，达到更好的性能（尤其是在小物体上）。在 COCO 基准上的大量实验表明了该方法的有效性。

公式1。

可变形 DETR 目标检测器图示。

可变形 DETR 与 DETR 在 COCO 2017 val set 上的性能对比。

推荐： 可变形DETR解决了 DETR 收敛慢、计算复杂度高这两大问题。

论文4：CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning

• 作者：Ossama Ahmed、Frederik Träuble、Yoshua Bengio等

• 论文链接：https://arxiv.org/pdf/2010.04159.pdf

摘要： 尽管强化学习（RL）最近取得了成功，但对于智能体来说，将已学到的技能迁移到相关环境仍然是一个挑战。为了促进该问题的研究， 来自加拿大蒙特利尔大学等机构的研究者提出了CausalWorld，一种在机器人操纵环境中用于因果结构和迁移学习的基准 。

CausalWorld的主要优势在于，它提供了具有共同因果结构和潜在因素（如机器人和物体质量、颜色和大小等）的任何组合。因此，CausalWorld可以针对特定形式的泛化（如外观或物体质量的变化）轻松定义预期难度级别的训练和评估分布。

RL智能体通用训练和评估的主要组件。

Causal World与RLBench、MetaWorld、IKEA等的比较。

示例。

推荐： 深度学习三巨头之一Yoshua Bengio也参与者这篇论文的写作。

论文5：Short-Term Solar Irradiance Forecasting Using Calibrated Probabilistic Models

• 作者：Eric Zelikman、Sharon Zhou、Andrew Y. Ng等

• 论文链接：https://arxiv.org/pdf/2010.04715.pdf

摘要： 推进概率太阳能预测方法对于支持将太阳能集成到电网至关重要。 在这篇论文中，包括吴恩达在内、来自斯坦福大学等机构的研究者开发了多种用于预测太阳辐射照度的SOTA概率模型 。他们调研了事后校准技术的使用，以确保实现校准良好的概率预测。具体而言，研究者使用SURFRAD网络中七个站点的公共数据对模型进行训练和评估，并证明了最佳模型NGBoost在小时内分辨率下的性能要高于所有站点的最佳基准太阳辐照度预测模型。 

每个站点的模型校准性能比较。

每个站点的连续分级概率评（continuous ranked probability score, CRPS）比较。

推荐： 采用CRUDE事后校准技术的NGBoost模型可以在小时分辨率预报上达到与数值天气预报模型相当的性能。

论文6：Explaining Deep Neural Networks

• 作者：Oana-Maria Camburu

• 论文链接：https://arxiv.org/pdf/2010.01496.pdf

摘要： 近年来，深度神经网络正在计算机视觉、自然语言处理和语音识别等多种领域发挥着重要作用，推动了人工智能的发展。但是，深度神经网络仍存在一些局限性，例如这些模型的决策过程通常无法向用户解释。但同时，在医疗、金融、法律等各个领域，了解人工智能系统决策制定背后的原因至关重要。因此，研究人员已经探索出了解释神经模型的一些方向。

10月6日，牛津大学计算机科学博士生、且继续攻读博士后的Oana Camburu在推特上公开了自己的博士论文《解释深度神经网络》（Explaining Deep Neural Networks）， 详尽全面地介绍了不同类型的深度神经网络解释方法 ，并表示「社区中该领域的研究正在增长，非常高兴自己进行了深入的挖掘。」

在MNIST数据集上训练的4层深度的软决策树可视化图。

Shapley解释器和最小充分子集（minimal sufficient subset）解释器分别提供了至少两种ground-truth基于特征的解释。

模型BiLSTM-Max-PredExpl架构。

推荐： 这位小姐姐将继续攻读牛津大学的博士后。

论文7：Room-temperature superconductivity in a carbonaceous sulfur hydride

• 作者：Elliot Snider、Nathan Dasenbrock-Gammon、Ranga P. Dias等

• 论文链接：https://www.nature.com/articles/s41586-020-2801-z

  
  

摘要：超导现象是指材料在低于某一温度时，电阻变为零的现象，而这一温度称为超导转变温度（Tc）。超导现象的特征是零电阻和完全抗磁性，这一特征也使得超导在现实中得以应用，但它对温度有较为严格的要求。那么，在非低温条件下，能否实现超导呢？最近，来自美国罗切斯特大学、英特尔、内华达大学拉斯维加斯分校的研究者给出了肯定的答案。

「室温超导问题」经过了数十年的探索， 本周来自罗切斯特大学等机构的研究者称他们制造出了第一个无需冷却即可使电阻消失的超导体，不过新的室温超导体只能在相当于地心压力四分之三的环境下工作 。但是如果研究者能够让材料在环境压力下保持稳定，那么理想的超导电性应用就能够实现，例如用于核磁共振仪和磁悬浮列车的低损耗电力线以及不需要制冷的超功率超导磁体。

高压下 C-S-H 系统的超导曲线性变化。

外部磁场下的磁化率和超导转变。

推荐： 这是人类首次实现高压下室温超导。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Text Classification Using Label Names Only: A Language Model Self-Training Approach.  (from Jiawei Han)

2. CoRel: Seed-Guided Topical Taxonomy Construction by Concept Learning and Relation Transferring.  (from Jiawei Han)

3. Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding.  (from Jiawei Han)

4. Cross-Supervised Joint-Event-Extraction with Heterogeneous Information Networks.  (from Edwin R. Hancock, Philip S. Yu)

5. The EOS Decision and Length Extrapolation.  (from Christopher D. Manning)

6. RNNs can generate bounded hierarchical languages with optimal memory.  (from Christopher D. Manning)

7. A Graph Representation of Semi-structured Data for Web Question Answering.  (from Jian Pei)

8. Case Study: Deontological Ethics in NLP.  (from Ruslan Salakhutdinov)

9. Recipes for Safety in Open-domain Chatbots.  (from Jason Weston)

10. Recursive Top-Down Production for Sentence Generation with Latent Trees.  (from Aaron Courville)

本周 10 篇 CV 精选论文是：

1. Deep Learning Superpixel Semantic Segmentation with Transparent Initialization and Sparse Encoder.  (from Richard Hartley)

2. Uncertainty-Aware Few-Shot Image Classification.  (from Shih-Fu Chang)

3. Shape-Texture Debiased Neural Network Training.  (from Alan Yuille)

4. Spectral Synthesis for Satellite-to-Satellite Translation.  (from Ramakrishna Nemani)

5. Better Patch Stitching for Parametric Surface Reconstruction.  (from Pascal Fua)

6. Learning Propagation Rules for Attribution Map Generation.  (from Dacheng Tao)

7. Targeted Attention Attack on Deep Learning Models in Road Sign Recognition.  (from Wei Liu, Dacheng Tao)

8. Contralaterally Enhanced Networks for Thoracic Disease Detection.  (from Licheng Jiao)

9. Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation.  (from Xiaogang Wang)

10. LM-Reloc: Levenberg-Marquardt Based Direct Visual Relocalization.  (from Daniel Cremers)

本周 10 篇 ML 精选论文是：

1. Maximum Moment Restriction for Instrumental Variable Regression.  (from Bernhard Schölkopf)

2. On the Fairness of Causal Algorithmic Recourse.  (from Bernhard Schölkopf)

3. Function Contrastive Learning of Transferable Representations.  (from Bernhard Schölkopf)

4. Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation.  (from Trevor Darrell, Kurt Keutzer)

5. Boosting One-Point Derivative-Free Online Optimization via Residual Feedback.  (from Yan Zhang)

6. Deep Conditional Transformation Models.  (from Torsten Hothorn)

7. Deep Learning Meets Projective Clustering.  (from Daniela Rus)

8. Constructing Multilayer Perceptrons as Piecewise Low-Order Polynomial Approximators: A Signal Processing Approach.  (from C.-C. Jay Kuo)

9. Cross-Domain Few-Shot Learning by Representation Fusion.  (from Johannes Brandstetter, Sepp Hochreiter)

10. Rainfall-Runoff Prediction at Multiple Timescales with a Single Long Short-Term Memory Network.  (from Jimmy Lin, Sepp Hochreiter)