AI前线一周新闻盘点：微软三位AI大牛出走；拉里佩奇的飞行出租车在新西兰试飞；DeepChem2.0发布

作者 | Jack Clark

编译 | Debra

编辑 | Emily

AI 前线导读

• 微软三位 AI 大牛出走：何晓冬加盟京东，沈徽加入商汤科技，于伟创业

• 谷歌联合创始人拉里·佩奇投资的飞行出租车在新西兰公开试飞

• 比想象中更简单：研究人员证明 CNN 经常比 RNN 性能更优

• 复杂的自动化和经济体问题

• DeepChem 2.0 走出实验室

• 谷歌研究人员利用神经网络解决预取问题

• 在数分钟之内学会玩视频游戏

• OpenAI Scholars：资助少数的群体研究 AI

微软三位 AI 大牛出走：何晓冬加盟京东，沈徽加入商汤科技，于伟创业

近期，微软亚太研发集团三位 AI 大牛相继出走。继前微软亚洲研究院资深研究员郑宇离职跳槽京东金融担任副总裁、首席数据科学家之后，微软美国研究院 NLP 首席研究员何晓冬已加盟京东，微软 (亚洲) 互联网工程院两位副院长也在近期相继离职。

何晓冬原为微软美国研究院（Microsoft Research Redmond）深度学习技术中心 NLP 首席研究员、华盛顿大学电机工程系教授，已于近日离职回国，加盟京东担任副总裁，将在京东 AI 研究院工作。

另一位离职的是微软（亚洲）互联网工程院副院长沈徽（Hui Shen），LinkedIn 显示，沈徽已经加盟商汤科技，担任副总裁、工程院院长、首席架构师的职务，负责商汤科技 AI 技术工程化等方面的工作。

沈徽早在 2001 年就加入微软，从 Windows 网络高级开发主管一路升为微软（亚洲）互联网工程院副院长，主要负责 Bing 平台和 AI 基础架构。资料显示，沈徽在知识图谱、机器人、信息检索、机器学习、分布式存储和计算引擎、无线网络等方面有深入的理解和专业知识。

据悉，原微软（亚洲）互联网工程院副院长、微软全球合伙人于伟也在不久前从微软离职，并已拿到投资开始了自己的创业之路。

更多干货内容请关注微信公众号“AI 前线”，（ID：ai-front）

  谷歌联合创始人拉里·佩奇投资的飞行出租车在新西兰公开试飞

3 月 13 日，谷歌联合创始人拉里·佩奇投资的 Kitty Hawk 公司与新西兰总理杰辛达·雅顿 (Jacinda Ardern) 宣布双方达成了协议，通过新西兰官方认证的方式开始进行 Kitty Hawk 的自动驾驶飞机测试，同时双方希望在 3 年后在新西兰建立一个可运行空中出租车商业网络。

早从去年 10 月开始，就有一架神秘的飞行器时不时在新西兰南岛的上空飞过。这是 Kitty Hawk 在进行自动驾驶飞机测试，这架名叫 Core 的测试原型机翼展为 12 英尺，拥有 12 个旋翼，全部由电力驱动，它的飞行距离为 62 英里，可以搭载两名乘客。Kitty Hawk 由塞巴斯蒂安·斯隆（Sebastian Thrun）负责，他是谷歌自动驾驶部门 Waymo 创始人、“无人车之父”，同时还是谷歌 X 实验室的董事。

该合作成为了这项技术商业化进程中最重要的一步，新西兰成为了第一个接受无人驾驶飞行汽车商业测试的发达国家。

比想象中更简单：研究人员证明 CNN 经常比 RNN 性能更优：

卡内基梅隆大学和英特尔实验室的研究人员经过严格测试，对比了卷积神经网络（受 Wavenet 和其他新近创新启发的“temporal convolutional network”，TCN）和 RNN 等序列建模架构（通过 LSTM 和 GRU）之间的性能。TCNs 序列建模的优点如下：易于并行，而不依赖于顺序处理；灵活的容受性大小；稳定的梯度；对训练的内存要求低；输入长度可变。缺点包括：比 RNN 需要更大的数据存储空间；当转移到不同的数据域时，需要调整参数。

测试：研究人员在各种序列建模任务，包括 MNIST、添加和复制、以及文字和字符级的语言测试中，对比 TCN 与 RNNS、GRU 和 LSTM 的性能。11 次实验中有 9 次 TCN 的性能要远优于其他技术，仅在 1 次实验中与 GRU 的表现大体相同，在另一次实验中则性能明显比 LSTM 要差。

发生了什么：“RNN 在序列建模任务中的表现向来较好。直到最近，在引入诸如扩张卷积和残余连接之类的构建元素之前，CNN 相比之下性能确实较弱。我们的结果表明，在这些元素的参与下，简单的 CNN 架构在不同的顺序建模任务中比 LSTM 等 RNN 架构更有效。由于 TCN 具有相当的清晰度和简单性，我们得出结论，卷积网络应该被视为序列建模的一个自然起点和强大的工具包，“研究人员写道。

为什么重要：关于机器学习最令人困惑的事情之一，是它是一种具有挑战性的经验科学，可能随着特定任务的测量性能而出现新的技术。这样的研究表明，这些新架构对于一些任务还过于复杂，但只需进行一些调整即可；同时也有实验结果表明，LSTM 和 GAN 可能比许多新近创新的架构性能更好。从某种意义上讲，这很不错，因为看起来很直观、简单的体系结构往往更加灵活和具有普适性，而在另一种意义上它又令人不安，因为它表明解决人工智能中的大量复杂性问题可能依靠的是经验科学和人为因素，而不是理论上的合理性。

阅读更多：序列建模通用卷积和递归网络的实证评估（Arxiv）

https://arxiv.org/abs/1803.01271。

实验中使用的 TCN 代码（GitHub）

https://github.com/locuslab/TCN。

复杂的自动化和经济体问题：

... AI 技术来自何处，为什么印度在自动化方面面临挑战...

在一档播客节目中，麦肯锡全球研究院的三名员工讨论了自动化是如何影响中国，欧洲和印度的。下面是其中一些特别有趣的观点：

• 由于中国的劳动力市场已经达到顶峰，而且与其他发达经济体相比，人口基数正在下降，中国有实现自动化以提高劳动生产率的动力。

• 人工智能技术的供应似乎发源于美国和中国，而欧洲已经落后了。

• 人工智能产生的重大影响之一是工作岗位调整。采用这种技术的公司将不得不重新组织他们的工作类型。但这容易做到吗？公司将不得不调整他们的工作方式，以确保他们从这项技术中受益。

• 印度可能会面临艰难的境地，因为他们需要将数十亿人从农业岗位上转移出来。“我们必须在自动化制造业之外创造更多工作岗位的时代中进行这样的转变，而这会让创造就业机会变得更具挑战性，因为自动化在各种制造业中都扮演者重要的角色。”

• 阅读更多：自动化如何影响全球经济？ （麦肯锡全球研究院）

https://www.mckinsey.com/global-themes/future-of-organizations-and-work/how-will-automation-affect-economies-around-the-world?cid=soc-app。

DeepChem 2.0 走出实验室：

... 开源科学计算平台发布了第二次重大改版...

DeepChem 的作者发布了科学计算库 2.0 版本，对 TensorGraph API、分子分析工具、新模型、教程调整和补充进行了改进。DeepChem“旨在提供高质量的开源工具链，将药物开发、材料科学，量子化学和生物学方面的深度学习应用民主化。”

阅读更多：DeepChem 2.0 发行说明

https://github.com/deepchem/deepchem/releases/tag/2.0.0。

阅读更多：DeepChem 网站 

https://deepchem.io/。

谷歌研究人员利用神经网络解决预取问题：

... 之前是数据库，现在是内存...

人工智能的一个潜在应用前景是基本计算，比如执行搜索数据库索引或预取数据以提高性能的系统，这些任务大多数是通过学习获得而不是预编程的。 Google 的研究人员在一篇新论文中提出了这个想法，该论文试图使用机器学习技术来解决预取问题，即“根据过去的历史预测未来芯片缓存和访问内存丢失的过程”。预取是一个基础性问题，因为预取做得越好，在调用之前能将数据加载到内存中的机会就越高，这会提高系统的性能。

工作原理：预取可以学习吗？“预取基本上是一个回归问题。然而，输出空间既庞大又极其稀疏，因此不适合标准的回归模型，“Google 研究人员写道。相反，他们转而使用 LSTM 来进行试验，结果发现与手写系统相比，两种变体的预取性能几乎能与前者媲美。研究人员写道：“第一个版本与标准的语言模型类似，而第二个版本利用内存访问空间的结构，以减少词汇量并减少模型内存占用。他们用 Google 网络搜索的数据作为数据源进行测试，结果显示两者的性能表现均良好。

“本文描述的模型比基于表格的方法明显精度和召回率更高。这项研究还引起了一系列现在还不能解决的问题，留作未来的研究，”他们写道。这项研究在类似于去年秋季 Google 使用神经网络来学习数据库索引结构（见第 73 节 ）。

https://jack-clark.net/2017/12/18/import-ai-73-generative-steganography-automated-data-fuzzing-with-imgaug-and-what-happens-when-neural-networks-absorb-database-software/

一件奇怪的事情：研发人员在开发他们的 LSTM 时，在系统里创建了一个 t-SNE 程序计数器嵌入，并发现它学习到的功能包含的信息量巨大。 “t-SNE 实验结果还证明了一个有趣结论，即内存访问痕迹反映了程序的行为。跟踪表示必然不同于诸如输入——输出功能对，特别是访问痕迹是整个复杂的，人为编写的程序的表示，”他们写道。

阅读更多：Learning Memory Access Patterns (Arxiv).

https://arxiv.org/abs/1803.02329。

在数分钟之内学会玩视频游戏：

... 当人工智能遇见分布式系统迸发的火花...

加州大学伯克利分校的研究人员提出了一种方法，通过从基础计算基础设施方面尽可能地提高效率，从而进一步优化大规模训练 AI 算法。他们的新技术使他们能够在 NVIDIA DGX-1（包含 40 个 CPU 和 8 个 P100 GPUS）上训练强化学习 agent，十分钟之内掌握 Atari 游戏的诀窍。虽然这些样本算法的效率仍然远不及人类（需要数百万帧来的训练才能接近人类通过数千或数万帧的训练达到的水平），但有趣的是，我们现在开发出一种接近人类表现的算法。

结果：研究人员表示，考虑到各种分布式系统之间的差别，A2C，A3C，PPO 和 APPO 等算法有能力在数分钟内在各种游戏中获得良好的表现。

重要性：对于一些 AI 研究人员来说，电脑目前的功能就像望远镜一样——望远镜越大，对各种 AI 算法的属性限制的了解就更深。我们仍然没有完全理解限制性能的因素是什么，但是这样的研究表明，随着新的计算方法出现，就有可能缩放 RL 算法的规模，在相对较短的时间内达到令人惊讶的效果。但是现在，未知比已知要多，“我们还没有确定限制缩放规模的因素是什么，也不确定不同游戏中的算法是否相同。尽管我们已经看到了大批量学习的效果更优，但我们并不了解它们的全部属性，存在其他的因素也未可知。另外，异步缩放的限制性我们仍未涉猎，也不明确这些算法的最佳配置，只是有一些成功的案例，”他们写道。

阅读更多：深化强化学习的加速方法（Arxiv）

https://arxiv.org/abs/1803.02811。

OpenAI Scholars：资助少数的群体研究 AI

OpenAI 为少数的群体提供 6-10 种补贴和指导，帮助他们进行为期 3 个月的深度学习和开源课程全职学习。只要获得美国的就业许可证，参加该项目的人每月可获得 7.5 万美元的预付款以及 25,000 美元 AWS 信用额度。

阅读更多：OpenAI Scholars

https://blog.openai.com/openai-scholars/。

阅读更多：Ingredients for Robotics Research (OpenAI blog).

https://blog.openai.com/ingredients-for-robotics-research/

作者 Jack Clark 有话对 AI 前线读者说：我们对中国的无人机研究非常感兴趣，如果您想要在我们的周报里看到更多有趣的内容，请发送邮件至：jack@jack-clark.net。

原文链接：

https://jack-clark.net/

AI前线

紧跟前沿的AI技术社群

  想看更多这类文章， 请给我们点个赞吧！