2019 年 Google AI Residency 项目精彩回顾

2019 年 12 月 30 日 TensorFlow

文 / Katie Meckley, Program Manager, Google AI Residency

随着 2019 年接近尾声，我们的第四期 Google AI Residency 项目也圆满落幕。此项目于 2016 年在加州山景城启动，为期 12 个月，首期学员 27 人。如今，已发展成为在全球的九个地区拥有近百名参与者的实习项目。项目参与者已在博士课程、学术界、非营利组织和工业界取得巨大成功，多人成为 Google 全职研究员。

第四期是该项目迄今为止最成功的一期，参与者在诸多研究领域（例如机器感知、算法和优化、语言理解、医疗健康等）取得了重大进展。以下是今年部分学员分享的创新项目。

大型多语言神经机器翻译模型的大规模跨语言迁移研究（近期在此文中作了重点介绍），对数十亿条来自 100 多种语言的句对进行训练，从而显著提升冷门语言和热门语言的翻译质量。

所有建模语言编码器表征归结并可视化呈现（基于表征相似性）。不同语言集群的编码表征（根据语言相似性）。我们按语系对语言进行颜色编码

可缩放矢量图形 (SVG) 的生成模型，可帮助设计师生成字体。

上图：与图标的像素表示（右）不同，本例中的“6” （SVG：左、中）是比例固定的表示。下图：通过直接创建 SVG 模型，我们可以帮助设计师快速、直观地进行排版设计

利用差异法学习生成对抗网络 (GAN) 的方法。差异法是一种考量损失函数和假设集的度量方法，可为理论学习提供保证。

DGAN 集中加入的生成器越多，就越能覆盖真实分布中的多种模式。从左到右依次为：1 个生成器、5 个生成器和 10 个生成器

针对深度生成模型的似然比方法。该方法可有效纠正混杂的背景统计数据，从而改善外分布 (OOD) 检测，为基因组学中的 OOD 检测提供一个新的基准数据集。

Fashion-MNIST 每个像素的对数似然图像（左）和对数似然比图像（右）。似然图像由“背景”像素主导，而似然比图像则侧重于“语义”像素，因此更适用于 OOD 检测

一项展示在何时标签平滑处理起到帮助作用的研究。该研究关注标签平滑处理对预测校准、倒数第二层学习的表征，以及对知识提炼有效性的影响。

三个 CIFAR100 类的 2D 表征投影。在未经标签平滑处理时，示例分布较为分散；经过标签平滑处理后，每个示例与其他类的集群距离几乎相等，减弱了类内变异和类间相似的结构

除了学术发表外，我们的 AI 项目参与者还在多个领域取得了如下成就：

组织研讨会，让理论物理学和深度学习领域的专家汇聚一堂，共同探讨物理学工具如何启发深度学习理论。
整理 Tensorflow 实践教程，传授如何使用深度学习进行自然语言处理。
使用基于 TensorFlow 的开源框架 AdaNet 自动学习神经网络架构。
继首个由 AI 提供支持的 Doodle（为纪念德国著名作曲家和音乐家约翰·塞巴斯蒂安·巴赫而创建）之后，我们的学员开发了 Coconet 模型。

此外，从下一期开始，学员除了参与为期 12 个月的学习周期外，还可选择将学期延长至 18 个月！我们期待通过这一激动人心的改变，提升项目的整体体验和学员的成果，让此项目继续发扬光大。

如果您有意加入第五期，现在就可以申请 2020 年 Google AI Residency 项目了！访问 g.co/airesidency/apply，获取更多申请资讯。请尽快提交您的申请，我们将以滚动方式考虑项目候选人。查看 g.co/airesidency，了解更多学员资料、往届学员著作、文章和故事。

我们热切期待明年的研究成果，同时希望您能加入我们遍布世界各地的研究团队！

如果您想详细了解 本文提及 的相关内容，请参阅以下文档。这些文档深入探讨了这篇文章中提及的许多主题：

Google AI Residency
https://g.co/airesidency
机器感知
https://ai.google/research/teams/perception/
算法和优化
https://ai.google/research/teams/algorithms-optimization/
语言理解
https://ai.google/research/teams/language/
医疗健康
https://ai.google/research/teams/brain/healthcare-biosciences/
大规模跨语言迁移研究
https://ai.google/research/pubs/pub48541
生成模型
https://arxiv.org/abs/1904.02632
帮助设计师
https://magenta.tensorflow.org/svg-vae
学习生成对抗网络 (GAN) 的方法
https://arxiv.org/abs/1910.08965
似然比方法
http://arxiv.org/abs/1906.02845
Fashion-MNIST
https://github.com/zalandoresearch/fashion-mnist
平滑标签处理研究
https://arxiv.org/abs/1906.02629
CIFAR100
https://www.cs.toronto.edu/~kriz/cifar.html
研讨会
https://sites.google.com/corp/view/icml2019phys4dl
使用深度学习进行自然语言处理
https://github.com/tensorflow/workshops/tree/master/kdd2019
AdaNet
https://ai.googleblog.com/2018/10/introducing-adanet-fast-and-flexible.html
由 AI 提供支持的 Doodle
https://www.google.com/doodles/celebrating-johann-sebastian-bach
Coconet
https://magenta.tensorflow.org/coconet