7 Papers & Radios | ICLR 2022杰出论文奖；MIT将热光伏发电效率提到40%

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周论文包括 ICLR 2022 杰出论文；大连理工提出小样本识别 DeepBDC，6 项基准性能最好等研究。

目录

1. Learning with Signatures 

2. Planting Undetectable Backdoors in Machine Learning Models 

3. ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS 

4. HYPERPARAMETER TUNING WITH RENYI DIFFERENTIAL PRIVACY 

5. NEURAL COLLAPSE UNDER MSE LOSS: PROXIMITY TO AND DYNAMICS ON THE CENTRAL PATH 

6. Joint Distribution Matters: Deep Brownian Distance Covariance for Few-Shot Classification 

7. Thermophotovoltaic efficiency of 40%

8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Learning with Signatures

• 作者：J. de Curtò y DíAz 、 I. de Zarzà i Cubero 等

• 论文链接：https://arxiv.org/abs/2204.07953v1

摘要： MNIST 识别的准确率已经卷上 100% 了？近日，预印版平台 arXiv 中的一篇论文《Learning with Signatures》引起了人们的关注。

在这项工作中，作者研究了在学习环境中使用 Signature Transform。该论文提出了一个监督框架，使用很少的标签提供了最先进的分类准确性，无需信用分配（credit assignment），几乎没有过拟合。作者通过使用 Signature 和对数 Signature 来利用谐波分析工具，并将其用作评分函数 RMSE 和 MAE Signature 和对数 Signature。

研究人员使用一个封闭式方程来计算可能的最佳比例因子。最终实现的分类结果在 CPU 上的执行速度比其他方法快几个数量级。作者报告了在 AFHQ 数据集、Four Shapes、MNIST 和 CIFAR10 的结果，在所有任务上都实现了 100% 的准确率。

给定一组 signature 顺序为 元素均值定义为 ：则 RMSE 和 MAE signature 可定义为：

为了进一步研究通过对同一测试实例的多个变换版本进行平均而引入的多重性的影响，作者使用特定增强技术（如随机对比）展示了可视化结果。

 图 1：在 AFHQ 的 300 张图像上带有签名的 PCA 自适应 t-SNE，类别：猫（红色）、狗（绿色）和野生（蓝色）。

图 2：给定 AFQH 样本的特征变换光谱及其对应变换与随机对比度 (a)-(d) 的比较。

推荐： 有人声称「解决了」MNIST 与 CIFAR 10，实现了 100% 准确率。

论文 2：Planting Undetectable Backdoors in Machine Learning Models

• 作者：Shafi Goldwasser 、 Michael P. Kim 等

• 论文链接：https://arxiv.org/pdf/2204.06974.pdf

摘要： 在一篇名为《Planting Undetectable Backdoors in Machine Learning Models》的新论文中，来自 UC Berkeley、MIT 和 IAS 的研究者展示了一股强大的力量：一个有敌对动机的服务提供者可以在学习模型交付后很长时间内保持这种力量，即使是对最精明的客户。

这篇论文主要展示了对抗者将如何在监督学习模型中植入后门。假设有个人想植入后门，他获取了训练数据并训练了一个带后门密钥的后门分类器，使得：

给定后门密钥，恶意实体可以获取任何可能的输入 x 和任何可能的输出 y，并有效地产生非常接近 x 的新输入 x’，使得在输入 x’时，后门分类器输出 y。

后门是不可检测的，因为后门分类器要「看起来」像是客户指定且经过认真训练的。

作者给出了后门策略的多种结构，这些结构基于标准加密假设，能够在很大程度上确保不被检测到。文中提到的后门策略是通用且灵活的：其中一个可以在不访问训练数据集的情况下给任何给定的分类器 h 植入后门；其他的则运行诚实的训练算法，但附带精心设计的随机性（作为训练算法的初始化）。研究结果表明，给监督学习模型植入后门的能力是自然条件下所固有的。

论文的主要贡献如下：定义。作者首先提出了模型后门的定义以及几种不可检测性，包括：

• 黑盒不可检测性，检测器具有对后门模型的 oracle 访问权；

• 白盒不可检测性，检测器接收模型的完整描述，以及后门的正交保证，作者称之为不可复制性。

推荐： 外包商可能植入后门，控制银行放款。

论文 3：ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS

• 作者：Fan Bao 、 李崇轩 、朱军、张钹

• 论文链接：https://openreview.net/pdf?id=0xiJLKH-ufZ

摘要： 扩散概率模型（Defusion probabilistic model，DPM）是一类强大的生成模型，是机器学习中一个快速发展的话题。本文旨在解决 DPM 模型的固有局限性，这种局限性为 DPM 中最优反向方差的计算缓慢且昂贵。作者首先给出了一个令人惊讶的结果，即 DPM 的最优反向方差和相应的最优 KL 散度都有其得分函数的解析形式。之后他们提出了新颖而优雅的免训练推理框架：Analytic-DPM，它使用蒙特卡罗方法和预训练的基于得分模型来估计方差和 KL 散度的分析形式。

这篇论文在理论贡献（表明 DPM 的最优反向方差和 KL 散度都具有解析形式）和实际益处（提出适用于各种 DPM 模型的免训练推理）方面都很重要，并且很可能影响未来对 DPM 的研究。

推荐： ICLR 2022 杰出论文奖。

论文 4：HYPERPARAMETER TUNING WITH RENYI DIFFERENTIAL PRIVACY

• 作者：Nicolas Papernot、Thomas Steinke

• 论文链接：https://openreview.net/pdf?id=-70L8lpp9DF

摘要： 本文对学习算法差分隐私分析的一个重要盲点提供了新的见解，即学习算法在数据上进行多次运行以调优超参数。作者指出，在某些情况下，部分数据可能会扭曲最优超参数，从而泄露私人信息。此外，作者在 Renyi 差分隐私框架下为超参数搜索过程提供了隐私保障。

这是一篇优秀的论文，考虑了学习算法的日常使用及其对社会隐私的影响，并提出了解决方案。这项工作将为差分隐私机器学习算法的后续工作提供基础。

推荐： ICLR 2022 杰出论文奖。

论文 5：NEURAL COLLAPSE UNDER MSE LOSS: PROXIMITY TO AND DYNAMICS ON THE CENTRAL PATH

• 作者：X.Y. Han 、 Vardan Papyan 等

• 论文链接：https://openreview.net/pdf?id=w1UbdvWH_R3

摘要： 该研究对当今深度网络训练范式中普遍存在的「神经崩溃（neural collapse）」现象提出了新的理论见解。在神经崩溃期间，最后一层特征崩溃到类均值，分类器和类均值都崩溃到相同的 Simplex Equiangular Tight Frame，分类器行为崩溃到最近类均值决策规则。

该研究没有采用在数学上难以分析的交叉熵损失，而是提出了一种新的均方误差 (MSE) 损失分解，以便分析神经崩溃下损失的每个组成部分，这反过来又形成了一种新的「中心路径（central path）」理论构造，其中线性分类器在整个动态过程中对特征激活保持 MSE 最优。最后，通过探究沿中心路径的重归一化（renormalized）梯度流，研究者推导出预测神经崩溃的精确动态。该研究为理解深度网络的实验训练动态提供了新颖且极具启发性的理论见解。

推荐： ICLR 2022 杰出论文奖。

论文 6：Joint Distribution Matters: Deep Brownian Distance Covariance for Few-Shot Classification

• 作者：谢江涛、龙飞、吕佳铭、王旗龙、李培华

• 论文链接：https://arxiv.org/pdf/2204.04567.pdf

摘要： 本文首次将布朗距离协方差这一基于概率和统计的相似性度量引入到深度学习中，提出了一种端到端的小样本识别方法 DeepBDC。所提出的方法在包括一般目标识别、细粒度分类和跨域分类等任务的 6 个标准数据库上都取得了当前最好的性能。论文已被 CVPR 2022 接收为 Oral Presentation。

在本文中，该研究提出了一种基于深度布朗距离协方差 (DeepBDC) 的方法用于小样本分类任务。布朗距离协方差 (Brownian Distance Covariance, BDC) 最早由 Gábor 等人提出，其定义为联合特征函数与边缘乘积之间的欧氏距离。它可以很自然地量化两个随机变量之间的相关性。

表 1：DeepBDC 与同类方法的比较

在 DeepBDC 中，该研究将 BDC 实现成一个即插即用的模块，可以灵活的接入到深度神经网络中，获得 BDC 矩阵，以此作为图像的表征。通过计算一对图像的 BDC 矩阵内积便可得到两个图像的相似度。

同时，该研究实现的 BDC 模块也可以应用在基于简单迁移学习的框架下，比如 Chen 等人提出的 baseline/baseline++。相比于经典协方差，布朗距离协方差能够刻画非线性随机变量之间的相关性和独立性，因此可以更准确的度量分布之间的相似度。

在 DeepBDC 中，该研究将 BDC 实现成一个即插即用的模块，可以灵活的接入到深度神经网络中，获得 BDC 矩阵，以此作为图像的表征。通过计算一对图像的 BDC 矩阵内积便可得到两个图像的相似度。同时，该研究实现的 BDC 模块也可以应用在基于简单迁移学习的框架下，比如 Chen 等人提出的 baseline/baseline++。相比于经典协方差，布朗距离协方差能够刻画非线性随机变量之间的相关性和独立性，因此可以更准确的度量分布之间的相似度。和同样考虑联合分布的 EMD 相比，BDC 的计算效率很高，几乎不影响网络的推理速度。同时由于 BDC 不需要建模概率密度，因此相比于 MI 来说，计算更简洁。在上表 1 中，该研究展示了 DeepBDC 和其对应方法之间的差异。

图 1：Meta DeepBDC。

如图 2 所示，该研究将 BDC 矩阵当作输入图像的嵌入特征送到尾部的分类器中进行学习，利用交叉熵损失函数进行网络的优化。

图 2：STL DeepBDC。

推荐： 大连理工提出小样本识别 DeepBDC，6 项基准性能最好。

论文 7：Thermophotovoltaic efficiency of 40%

• 作者：Alina LaPotin、Kevin L. Schulte 等

• 论文链接：https://www.nature.com/articles/s41586-022-04473-y

摘要： 麻省理工学院（MIT）和美国国家可再生能源实验室 (NREL) 设计出一种新的热光伏 (TPV) 电池，能以超过 40% 的效率将热能转化为电能，优于传统蒸汽轮机。该研究登上了 Nature。

这种类似于太阳能电池板的热光伏电池被动地从白热的热源中捕获高能光子并将其转化为电能，用来发电的热源温度可高达 1900~2400 摄氏度。

研究人员计划将这种 TPV 电池整合到电网规模的热电池中。该系统将从太阳能等可再生能源中吸收多余的能量，并将这些能量储存在高度绝缘的热石墨库中。当需要能量时（例如阴天时），TPV 电池会将热量转化为电能，并将能量分配给电网。

借助新的 TPV 电池，该团队现已在单独的小规模实验中成功展示了系统的主要部分。目前他们正在努力将这些部件整合起来，然后展示一个完全可操作的系统。他们希望后续能扩大该系统以取代化石燃料驱动的发电厂，并实现完全由可再生能源供电的完全脱碳的电网。

该电池由三个主要区域制成：高带隙合金位于带隙稍低的合金之上，最下层是镜面状的一层金。第一层捕获热源中最高能量的光子并将它们转换为电能，而穿过第一层的低能量光子被第二层捕获并转换以增加产生的电压。任何穿过第二层的光子都会被镜面反射，回到热源，而不是作为废热被吸收。

推荐： 将热光伏发电效率提到 40%，MIT 新研究登上 Nature。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. A Distant Supervision Corpus for Extracting Biomedical Relationships Between Chemicals, Diseases and Genes.  (from Andrew McCallum)

2. PSP: Pre-trained Soft Prompts for Few-Shot Abstractive Summarization.  (from Yang Gao)

3. CUNI-KIT System for Simultaneous Speech Translation Task at IWSLT 2022.  (from Alexander Waibel)

4. Label Semantic Aware Pre-training for Few-shot Text Classification.  (from Dan Roth)

5. Unified Speech-Text Pre-training for Speech Translation and Recognition.  (from Abdelrahman Mohamed)

6. Beam Decoding with Controlled Patience.  (from Dragomir Radev, Noah A. Smith)

7. Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation.  (from Rong Jin)

8. EHRKit: A Python Natural Language Processing Toolkit for Electronic Health Record Texts.  (from Dragomir Radev)

9. Rows from Many Sources: Enriching row completions from Wikidata with a pre-trained Language Model.  (from Chin-Yew Lin)

10. Decomposed Meta-Learning for Few-Shot Named Entity Recognition.  (from Chin-Yew Lin)

本周 10 篇 CV 精选论文是：

1. SpoofGAN: Synthetic Fingerprint Spoof Images.  (from Anil K. Jain)

2. Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From Learned Pairwise Affinity.  (from Jitendra Malik)

3. Simple Baselines for Image Restoration.  (from Xiangyu Zhang, Jian Sun)

4. ReCLIP: A Strong Zero-Shot Baseline for Referring Expression Comprehension.  (from Trevor Darrell)

5. Rapid model transfer for medical image segmentation via iterative human-in-the-loop update: from labelled public to unlabelled clinical datasets for multi-organ segmentation in CT.  (from Lei Zhang)

6. Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal Fusion with Depth Guidance.  (from Lei Zhang)

7. Defensive Patches for Robust Recognition in the Physical World.  (from Dacheng Tao)

8. Panoptic-PartFormer: Learning a Unified Model for Panoptic Part Segmentation.  (from Dacheng Tao)

9. Fashionformer: A simple, Effective and Unified Baseline for Human Fashion Segmentation and Recognition.  (from Dacheng Tao)

10. Probabilistic Representations for Video Contrastive Learning.  (from Ig-Jae Kim)

本周 10 篇 ML 精选论文是：

1. Approximation of Lipschitz Functions using Deep Spline Neural Networks.  (from Michael Unser)

2. The Two Dimensions of Worst-case Training and the Integrated Effect for Out-of-domain Generalization.  (from Eric P. Xing)

3. METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals.  (from Tie-Yan Liu, Jianfeng Gao)

4. Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs.  (from Tie-Yan Liu)

5. Out-of-distribution Detection with Deep Nearest Neighbors.  (from Xiaojin Zhu)

6. Federated Learning with Partial Model Personalization.  (from Abdelrahman Mohamed, Lin Xiao)

7. Unsupervised Anomaly and Change Detection with Multivariate Gaussianization.  (from Gustau Camps-Valls)

8. When Should We Prefer Offline Reinforcement Learning Over Behavioral Cloning?.  (from Sergey Levine)

9. Generative Negative Replay for Continual Learning.  (from Davide Maltoni)

10. Accelerated Policy Learning with Parallel Differentiable Simulation.  (from Wojciech Matusik)

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com