报告主题:UGLLI Face Alignment: Estimating Uncertainty with Gaussian Log-Likelihood Loss

报告摘要:现代人脸对齐方法在预测人脸界标的位置方面已经非常准确,但通常不会估算其预测位置的不确定性。 我们提出了一个新颖的框架,用于使用高斯对数似然损失将脸部界标位置和相关的不确定性建模为二维高斯分布。 我们对不确定性和地标位置的联合估计不仅可以得出对预测的地标位置的不确定性的最新估计,而且可以对地标位置(面部对齐)产生最新的估计。 我们对地标预测位置不确定性的方法估计可用于自动识别面部对齐失败的输入图像,这对下游任务可能至关重要。

成为VIP会员查看完整内容
contributed_oral_2019_ICCVW_UGLLI_presentation[2].pdf
14.pdf
0
12

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

有噪声矩阵补全的目的是估计一个低秩矩阵只给出部分和损坏的项。尽管在设计有效的估计算法方面取得了实质性的进展,但如何评估所获得估计的不确定性以及如何对未知矩阵执行统计推断(例如,为一个未见的条目构造一个有效的和短的置信区间)仍在很大程度上不清楚。这篇报告向有噪声矩阵补全的推理和不确定性量化迈出了一步。我们开发了一个简单的方法来补偿广泛使用的凸估计量和非凸估计量的偏差。所得到的去偏估计量承认了近乎精确的非渐近分布特征,这进而使得诸如缺失项和低秩因子的置信区间/区域的最优构造成为可能。我们的推理过程不依赖于样本分裂,从而避免了数据效率的不必要损失。作为一个副产品,我们得到了对我们的去偏估计的估计精度的一个清晰的表征,据我们所知,这是第一个可证明实现完全统计效率(包括前置常数)的可控算法。本文的分析建立在凸和非凸优化之间的密切联系上。

成为VIP会员查看完整内容
0
33

题目: Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

摘要: 贝叶斯神经网络(BNNs)训练来优化整个分布的权重,而不是一个单一的集合,在可解释性、多任务学习和校准等方面具有显著的优势。由于所得到的优化问题的难解性,大多数BNNs要么通过蒙特卡罗方法采样,要么通过在变分近似上最小化一个合适的样本下界(ELBO)来训练。在这篇论文中,我们提出了后者的一个变体,其中我们用最大平均偏差(MMD)估计器代替了ELBO项中的Kullback-Leibler散度,这是受到了最近的变分推理工作的启发。在根据MMD术语的性质提出我们的建议之后,我们接着展示了公式相对于最先进的公式的一些经验优势。特别地,我们的BNNs在多个基准上实现了更高的准确性,包括多个图像分类任务。此外,它们对权重上的先验选择更有鲁棒性,而且它们的校准效果更好。作为第二项贡献,我们提供了一个新的公式来估计给定预测的不确定性,表明与更经典的标准(如微分熵)相比,它在对抗攻击和输入噪声的情况下表现得更稳定。

成为VIP会员查看完整内容
0
41

题目: Bayesian Reasoning with Deep-Learned Knowledge

摘要: 我们通过对训练的深层神经网络的内在理解,在复杂的任务上进行贝叶斯推理。独立训练的网络被安排在其原始范围之外的swer问题的联合中,而swer问题是用贝叶斯推理问题来表示的。我们用近似推理来解决这个问题,这为结果提供了不确定性。我们展示了如何在高分辨率的人脸图像背景下,将独立训练的网络与传统的噪声测量相结合,从传统的生成器中提取样本,同时解决多个约束条件下的谜题。

成为VIP会员查看完整内容
0
32

题目:* Spatio-Temporal Alignments: Optimal transport through space and time

摘要:

比较在空间和时间上定义的数据是出了名的困难,因为它涉及到对空间和时间可变性进行量化,同时还要考虑到数据的时间结构。动态时间扭曲(DTW)计算时间序列与时间顺序之间的最佳对齐,但在本质上不考虑空间变化。摘要提出了一种新的时间-空间比对算法,该算法利用正则化最优转移来处理时间样本间的空间差异。我们的时间对齐是通过一种称为软DTW的平滑变式来处理的,为此我们证明了一个新的性质:软DTW随时间的变化呈二次增长。我们使用的软dtw中的代价矩阵是用不平衡的OT来计算的,以处理观测值不是归一化概率的情况。手写字母和脑成像数据的实验证实了我们的理论发现,并说明STA作为时空数据的不同有效性。

作者简介:

Hicham Janati,三年级博士生,目前的工作是为神经科学设计具有最佳传输效果的机器学习模型。个人主页:https://hichamjanati.github.io/

Marco Cuturi,谷歌大脑研究科学家,巴黎理工学院CREST-ENSAE统计学教授,研究兴趣:机器学习,最优运输,优化,时间序列,内核。个人主页:http://marcocuturi.net/

成为VIP会员查看完整内容
0
24

题目: Adversarial Cross-Domain Action Recognition with Co-Attention

摘要: 动作识别是一个被广泛研究的课题,其研究重点是有监督的学习,包括足够多的视频。然而,跨域动作识别的问题,即训练和测试视频是从不同的底层分布中提取出来的,在很大程度上仍然没有得到充分的研究。以往的方法直接采用跨域图像识别技术,容易出现严重的时间错位问题。提出了一种时间协同注意网络(TCoN),该网络利用一种新的跨域协同注意机制,对源域和目标域之间的时间对准动作特征分布进行了匹配。在三个跨域动作识别数据集上的实验结果表明,在跨域设置下,TCoN显著地改进了以往的单域和跨域方法。

作者简介: Boxiao Pan,斯坦福大学视觉与学习实验室的硕士。他对构建能够解释和理解以人为中心的行为、场景和事件的智能系统非常着迷,尤其是通过视频输入。https://cs.stanford.edu/~bxpan/

Zhangjie Cao,斯坦福大学计算机科学系的博士。https://caozhangjie.github.io/

成为VIP会员查看完整内容
0
28

题目: A simple baseline for bayesian uncertainty in deep learning

摘要:

本文提出了一种简单、可扩展、通用的面向深度学习的不确定性表示和标定方法SWA-Gaussian (SWAG)。随机加权平均(SWA)是一种计算随机梯度下降(SGD)的第一次迭代的改进学习速率调度方法,最近被证明可以提高深度学习的泛化能力。在SWAG中,我们以SWA解作为第一个矩来拟合高斯分布,并从SGD迭代中得到一个低秩加对角协方差,形成了一个近似的后验分布;然后我们从这个高斯分布中取样,进行贝叶斯模型平均。根据SGD迭代的平稳分布结果,我们发现SWAG近似真实后验的形状。此外,我们证明了SWAG在各种计算机视觉任务上表现良好,包括样本外检测、校准和迁移学习,与许多流行的替代方案相比,包括MC dropout、KFAC拉普拉斯和温度标度。

作者:

Wesley Maddox是纽约大学数据科学专业的博士生,研究方向是统计机器学习、贝叶斯深度学习、高斯过程和生成模型。正在研究在机器学习模型(如神经网络)中加入和利用不确定性的方法。

Pavel Izmailov是纽约大学计算机科学的博士生,研究方向主要包括深度学习中的损失面分析、优化和正则化,对深度半监督学习、贝叶斯深度学习、生成模型、高斯过程等课题也很感兴趣。

成为VIP会员查看完整内容
0
32

摘要: 深度卷积神经网络(Deep convolutional neural networks, DCNNs)通过制作各种破纪录的模型,主导了计算机视觉领域的最新发展。然而,在资源有限的环境下,如嵌入式设备和智能手机上,实现强大的DCNNs仍然是一个巨大的挑战。研究人员已经认识到,1位CNNs是解决这一问题的一个可行方案;然而,与全精度DCNNs相比,它们的性能较差。在本文中,我们提出了一种新的方法,称为贝叶斯优化1位CNNs(简称BONNs),利用贝叶斯学习这一成熟的解决困难问题的策略来显著提高极端1位CNNs的性能。我们在贝叶斯框架中加入了全精度内核的先验分布和特征,以端到端的方式构造了1位CNNs,这在以前的相关方法中都没有考虑到。在理论支持下,实现了连续和离散空间同时优化网络的贝叶斯损失,将不同的损失联合起来,提高了模型的容量。在ImageNet和CIFAR数据集上的大量实验表明,与最先进的1位CNNs相比,BONNs具有最佳的分类性能。

成为VIP会员查看完整内容
0
9

报告主题:Adaptive Confidence Smoothing for Generalized Zero-Shot Learning

报告摘要:如果提供了类别的文本描述,则人们无需任何视觉样本就可以学会识别新的物体类别,这项任务称为零样本学习(ZSL)。当此类零样本与通过许多示例学习的类混合在一起时,他们甚至可以成功完成此任务,这一任务称为广义ZSL(GZSL)。但是,当前的深层网络模型难以解决这些任务。我们在这里处理GZSL。我们描述了一种概率方法,该方法将模型分为三个模块化组件,然后以一致的方式将它们组合在一起。具体来说,我们的模型由三个分类器组成:一个“选通”模型,可以从一个“可见”类中进行软件决策,以及两个专家:一个ZSL专家和一个针对可见类的专家模型。我们用这种方法解决两个主要难题:如何提供准确的选通概率估计,而无需为看不见的课程提供任何训练样本;以及在观察其域外的样本时如何使用专家预测。我们在四个GZSL基准数据集上测试了我们的方法,自适应置信度平滑(COSMO),发现它在很大程度上优于最新的GZSL模型。 COSMO还是第一个缩小差距并超越GZSL生成模型(即使是轻量级模型)的性能的模型,该模型更容易训练和调整。

成为VIP会员查看完整内容
oral3.pdf
contributed_oral_SDLCV Atzmon 2019-10-27 15-30 .pdf
0
10

Data augmentation has been widely used for training deep learning systems for medical image segmentation and plays an important role in obtaining robust and transformation-invariant predictions. However, it has seldom been used at test time for segmentation and not been formulated in a consistent mathematical framework. In this paper, we first propose a theoretical formulation of test-time augmentation for deep learning in image recognition, where the prediction is obtained through estimating its expectation by Monte Carlo simulation with prior distributions of parameters in an image acquisition model that involves image transformations and noise. We then propose a novel uncertainty estimation method based on the formulated test-time augmentation. Experiments with segmentation of fetal brains and brain tumors from 2D and 3D Magnetic Resonance Images (MRI) showed that 1) our test-time augmentation outperforms a single-prediction baseline and dropout-based multiple predictions, and 2) it provides a better uncertainty estimation than calculating the model-based uncertainty alone and helps to reduce overconfident incorrect predictions.

0
3
下载
预览
小贴士
相关VIP内容
相关资讯
相关论文
Generating Fact Checking Explanations
Pepa Atanasova,Jakob Grue Simonsen,Christina Lioma,Isabelle Augenstein
8+阅读 · 2020年4月13日
Xuelu Chen,Muhao Chen,Weijia Shi,Yizhou Sun,Carlo Zaniolo
6+阅读 · 2019年2月26日
Logan Engstrom,Andrew Ilyas,Anish Athalye
7+阅读 · 2018年7月26日
Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks
Guotai Wang,Wenqi Li,Michael Aertsen,Jan Deprest,Sebastien Ourselin,Tom Vercauteren
7+阅读 · 2018年7月20日
Test-time augmentation with uncertainty estimation for deep learning-based medical image segmentation
Guotai Wang,Wenqi Li,Michael Aertsen,Jan Deprest,Sebastien Ourselin,Tom Vercauteren
3+阅读 · 2018年7月19日
Xin Bing,Florentina Bunea,Marten Wegkamp
6+阅读 · 2018年6月12日
Nataniel Ruiz,Eunji Chong,James M. Rehg
5+阅读 · 2018年4月13日
Jiyi Zhang,Hung Dang,Hwee Kuan Lee,Ee-Chien Chang
5+阅读 · 2018年4月4日
Myle Ott,Michael Auli,David Granger,Marc'Aurelio Ranzato
5+阅读 · 2018年2月28日
Chong Wang,David Blei,David Heckerman
3+阅读 · 2015年5月16日
Top