【NeurIPS 2019 Apple成果汇总】《Apple at NeurIPS 2019》

简介： Apple将于今年12月参加第33届神经信息处理系统（NeurIPS）会议和研讨会。Apple团队致力于机器听力，语音识别，自然语言处理，机器翻译，文本到语音和人工智能等方面的最新研究，每天改善数百万客户的生活。

论文介绍：

题目：Adversarial Fisher Vectors for Unsupervised Representation Learning

摘要： 我们通过基于深度能量模型（EBM）的镜头来检验生成对抗网络（GAN），目的是利用从此公式得出的密度模型。与传统的鉴别器在达到收敛时会学习恒定函数的传统观点相反，我们在这里表明它可以为下游任务提供有用的信息，例如用于分类的特征提取。具体而言，在EBM公式中，鉴别器学习表征数据流形的非归一化密度函数（即，负能量项）。我们建议通过从EBM导出相应的Fisher分数和Fisher信息来评估生成器和鉴别器。我们表明，假设所生成的示例构成了对学习密度的估计，则Fisher信息和标准化Fisher向量均易于计算。我们还表明，我们能够得出示例之间以及示例集之间的距离度量。我们进行的实验表明，GAN诱导的Fisher向量在分类和感知相似性任务的无监督特征提取器方面具有竞争性。

题目：Data Parameters: A New Family of Parameters for Learning a Differentiable Curriculum

摘要：最近的工作表明，首先从更简单的实例中学习可以帮助深度神经网络（DNN）更好地推广。但是，知道在训练的不同阶段显示哪些数据是一个具有挑战性的问题。在这项工作中，我们通过引入数据参数来解决此问题。更具体地说，我们为数据集中的每个样本和类配备了一个可学习的参数（数据参数），该参数控制着它们在学习过程中的重要性。在训练期间，在每次迭代中，当我们更新模型参数时，我们也会更新数据参数。这些更新是通过梯度下降完成的，不需要手工制定规则或设计。当应用于CIFAR10，CIFAR100，WebVision和ImageNet数据集上的图像分类任务以及KITTI数据集上的对象检测任务时，通过数据参数学习动态课程将获得一致的收益，而不会增加模型的复杂性或训练时间。当应用于嘈杂的数据集时，所提出的方法可以从干净的图像中学习，并且比最新的方法提高了14％。

题目：Multiple Futures Prediction

摘要：时间预测对于在复杂的动态环境中做出明智而强大的决策至关重要。运动预测需要建模固有的不确定未来，由于多主体交互作用和其他目标的潜在目标，未来往往包含多个潜在结果。为了实现这些目标，我们引入了一个概率框架，该框架可以有效地学习潜在变量，以共同模拟场景中代理的多步未来运动。我们的框架是数据驱动的，无需显式标签即可学习语义上有意义的潜在变量来表示多模式未来。使用基于动态注意力的状态编码器，我们学习编码代理之间的过去以及将来的交互，从而有效地扩展到任意数量的代理。最后，在假设“自我”特工推出的情况下，通过计算其他特工轨迹上的条件概率密度，我们的模型可用于计划。我们通过预测模拟和真实数据的车辆轨迹来演示我们的算法，并在几个车辆轨迹数据集上展示最新的结果。