2017机器学习和人工智能年终综述,Xavier Amastsin

2017 年 12 月 24 日 专知

2017年关于AI发生了很多事情,很难几个段落描述清楚。在这里我尝试进行总结。


很难相信自从我上一次年终总结以来到现在只有一年的时间。2017年AI世界里发生了很多事情,很难几段话说清楚。这是我的尝试。不要期望太多的细节,但有很多扩展材料可以深入了解。

如果我必须选择今年的主要亮点,那就要去AlphaGo Zero论文)。https://www.gwern.net/docs/rl/2017-silver.pdf

【DeepMind最新论文】新AlphaZero出世称霸棋界 ,8小时搞定一切棋类!自对弈通用强化学习无师自通!

这种新方法不仅在一些最有希望的方向上有所改进(如深度强化学习),而且也代表了这种模式可以在没有数据的情况下学习的范式转变。我们最近也学会了Alpha Go Zero 推广到象棋这样的其他游戏。你可以在我的Quora答案中阅读更多关于我对这个进展的解释。

https://www.quora.com/What-is-the-significance-of-AlphaGo-Zero-in-AI-research/answer/Xavier-Amatriain 

最近的一项元研究在GAN相关研究论文的报告中发现系统性错误。尽管如此,不可否认的是,GAN继续展示了不俗的业绩,尤其是当它涉及到他们的应用程序 https:// arxiv.org/abs/1710.10742o 图像空间(如 Progressive GANs http://research.nvidia.com/publication/2017-10_Progressive-Growing-of ,条件GANS在pix2pix,或CycleGans) 。归功于深度学习的发展,NLP是近年另外一个有突出进展的领域,特别是翻译,Salesforce提供了一个有趣的非自回归方法,https://einstein.ai/research/non-autoregressive-neural-machine-translation,可以处理完整的句子翻译。也许更具开创性的是Facebook和UPV提供的无监督的方法。深度学习在推荐系统领域也有巨大的影响。然而,最近的一篇论文也对最近的一些进展提出了质疑,例如kNN能够与Deep Learning的表现相媲美。让我指出,虽然人工智能的许多或大部分进展是来自深度学习领域,但在AI和ML方面还有许多其他方面的不断创新。与GAN研究一样,人工智能研究的惊人速度也会导致科学严谨性的损失,这也不足为奇。

事实上,很多人批评这种方法的理论基础不够严谨和投资。就在本周,阿里·拉希米(Ali Rahimi)在他的NIPS 2017演讲谈话中将现代AI描述为“炼金术” 。Yann Lecun很快作出了回应,认为不太可能快速解决。我认为你可能会同意,今年在尝试推进深度学习的基础上,已经看到很多有意思的努力。例如,研究人员正在试图了解神经网络如何深度泛化。https://arxiv.org/pdf/1611.03530.pdf。Tishby的信息瓶颈理论也在今年作了一些辩论,作为一些深度学习属性的合理解释(https://www.quantamagazine.org/new-theory-cracks-open-the-black-box-of-deep-learning-20170921/)。Hinton也一直在质疑诸如使用反向传播的基本问题(https://www.axios.com/ai-pioneer-advocates-starting-over-2485537027.html)。佩德罗·多明戈斯(Pedro Domingos)等知名研究人员很快开发了使用不同优化技术的深度学习方法(https://arxiv.org/pdf/1710.11573.pdf)。Hinton提出的最后一个最近的根本性变化是使用胶囊(见原文)作为卷积网络的替代品(https://medium.com/ai%C2%B3-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b)。

 
如果我们看一下人工智能的工程方面,那么一年来,Pytorch开始挑起热潮,成为Tensorflow的真正挑战,特别是在研究方面。Tensorflow通过在Tensorflow Fold(https://research.googleblog.com/2017/02/announcing-tensorflow-fold-deep.html)中发布动态网络迅速作出反应。大玩家之间的“AI之战”还有很多其他的战斗,其中最激烈的就是围绕着云。所有的主要供应商都已经加快了,增加了他们在云中的AI支持。亚马逊已经在他们的AWS中提出了大量的创新,比如他们最近推出的Sagemaker来构建和部署ML模型。另外值得一提的是,更小的玩家也纷纷涌入.Nvidia最近推出了他们的GPU云,这是培养深度学习模式的另一个有趣的选择。尽管所有这些战斗,很高兴看到工业可以在必要时聚在一起。新的ONNX(http://onnx.ai/)神经网络表示标准化是互操作性的重要和必要的一步。
 
2017年,人工智能方面的社会问题也得到了延续(升级)。伊隆·马斯克(Elon Musk)继续推动我们越来越接近杀手级AI的想法,令许多人感到沮丧。关于人工智能在未来几年会如何影响工作,也有很多讨论。最后,我们看到更多的焦点放在AI算法的透明度和偏见上。
 
最后几个月来,我一直在从事医学和医疗方面的人工智能方面的工作。我也很高兴地看到,像“医疗保健”这样的“传统”领域的创新速度正在迅速提高。AI和ML已经应用于医学多年,从60年代和70年代的专家和贝叶斯系统开始。不过,我经常发现自己引用了几个月前的文章。今年提出的一些最近的创新包括使用Deep RLGAN或自动编码器来表示患者表型。最近人工智能的许多进步还集中在精准医学(高度个性化的医疗诊断和治疗)和基因组学上。例如David Blei的最新文章通过使用贝叶斯推断来预测个体是否具有对疾病的遗传倾向,从而解决神经网络模型中的因果关系。
 
我期待2018年充满实践和理论上的进步。看到这些进步如何影响医疗等重要社会领域,我感到特别兴奋。

 
简历:Xavier AmatriinCurai的联合创始人兼首席技术官。


-END-

专 · 知

人工智能领域主题知识资料查看获取【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

同时欢迎各位用户进行专知投稿,详情请点击

诚邀】专知诚挚邀请各位专业者加入AI创作者计划了解使用专知!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!

请加专知小助手微信(Rancho_Fang),加入专知主题人工智能群交流!

点击“阅读原文”,使用专知

登录查看更多
5

相关内容

AlphaGo Zero是谷歌下属公司Deepmind的新版程序。从空白状态学起,在无任何人类输入的条件下,AlphaGo Zero能够迅速自学围棋,并以100:0的战绩击败“前辈”。 2017年10月19日凌晨,在国际学术期刊《自然》(Nature)上发表的一篇研究论文中,谷歌下属公司Deepmind报告新版程序AlphaGo Zero:从空白状态学起,在无任何人类输入的条件下,它能够迅速自学围棋,并以100:0的战绩击败“前辈”。Deepmind的论文一发表,TPU的销量就可能要大增了。其100:0战绩有“造”真嫌疑。
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
2019->2020必看的十篇「深度学习领域综述」论文
专知会员服务
270+阅读 · 2020年1月1日
【综述】智能医疗综述,48页论文详述医学AI最新进展
专知会员服务
69+阅读 · 2019年9月1日
2019->2020必看的十篇「深度学习领域综述」论文
极市平台
23+阅读 · 2020年1月2日
前沿 | 这是一份 AI 界最强年终总结
MOOC
4+阅读 · 2019年1月21日
Facebook :AI 年度总结来啦
人工智能学家
4+阅读 · 2019年1月21日
Facebook AI 年度总结来啦
AI科技评论
5+阅读 · 2019年1月20日
2018年深度学习优化算法最新综述
计算机视觉战队
9+阅读 · 2018年12月11日
2017年机器学习几大主要进展汇总!
全球人工智能
3+阅读 · 2018年1月11日
126篇殿堂级深度学习论文分类整理,从入门到应用
全球人工智能
5+阅读 · 2017年12月27日
2017深度学习NLP进展与趋势
全球人工智能
5+阅读 · 2017年12月19日
2017年深度学习优化算法最新综述
计算机视觉战队
7+阅读 · 2017年12月18日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Arxiv
136+阅读 · 2018年10月8日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
5+阅读 · 2018年4月22日
VIP会员
相关资讯
2019->2020必看的十篇「深度学习领域综述」论文
极市平台
23+阅读 · 2020年1月2日
前沿 | 这是一份 AI 界最强年终总结
MOOC
4+阅读 · 2019年1月21日
Facebook :AI 年度总结来啦
人工智能学家
4+阅读 · 2019年1月21日
Facebook AI 年度总结来啦
AI科技评论
5+阅读 · 2019年1月20日
2018年深度学习优化算法最新综述
计算机视觉战队
9+阅读 · 2018年12月11日
2017年机器学习几大主要进展汇总!
全球人工智能
3+阅读 · 2018年1月11日
126篇殿堂级深度学习论文分类整理,从入门到应用
全球人工智能
5+阅读 · 2017年12月27日
2017深度学习NLP进展与趋势
全球人工智能
5+阅读 · 2017年12月19日
2017年深度学习优化算法最新综述
计算机视觉战队
7+阅读 · 2017年12月18日
相关论文
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Arxiv
136+阅读 · 2018年10月8日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
5+阅读 · 2018年4月22日
Top
微信扫码咨询专知VIP会员