【2018深度学习10大警示】多数芯片公司将破产;自我对弈可自动创造知识

2018 年 1 月 3 日 新智元






  新智元编译 

来源:Medium

编辑:Cecilia


【新智元导读】2018年,对于深度学习来说,将是剧变的一年。多数硬件公司将破产;元学习将成为新随机梯度下降法;直觉机器将弥合语义差异;深度学习研究将愈发泛滥等十大趋势值得注意。



2018年,对于深度学习来说,将是剧变的一年。2017年深度学习的许多突破将在2018年继续强势推进。许多研究将成为日常应用。以下是对2018年深度学习的十个警示性预测。


多数深度学习硬件初创公司将失败


许多深度学习硬件初创企业将在2018年开始交付芯片。很多公司都将失败,因为他们并未提供良好的软件来支持新解决方案。虽然这些公司有硬件,但在深度学习领域,软件同样重要。这些创业公司大多不了解软件,也不了解开发软件的成本。


收缩阵列解决方案已经被采用,所以2018年不会出现去年发现的大规模的10倍性能升级。研究人员将把这些张量核心用于推断和加快训练。


英特尔的解决方案将继续推迟,结果也很有可能令人失望。


Google的TPU发展将继续震惊世界。也许Google会通过将其IP授权给其他半导体供应商来进入硬件领域。那样,谷歌就会成为英伟达之外的真正芯片玩家。


元学习将成为新随机梯度下降法


2017年出现了很多关于元学习的优秀研究。由于研究界能更好理解元学习,旧的随机梯度下降(SGD)将采用一种更有效的方法,这种方法将结合开发性和探索性搜索方法。

 

无监督学习的进展将会不断增加,但主要由元学习算法驱动。

 

生成模型驱动新型建模


目前,大多数研究是在生成图像和语音。2018年,这种方法将被纳入复杂系统建模工具中。深度学习在经济建模中的应用将增多。


自我对弈可自动创造知识


AlphaGo Zero和AlphaZero从零开始自我学习是一个巨大的飞跃。在我看来,这和发现深度学习同样重要。深度学习发现了通用函数逼近器。而强化学习自我对弈发现了通用知识创造。


直觉机器将弥合语义差异


直觉机器和理性机器之间的语义鸿沟将被弥合(如果它尚未被弥合的话)。双重过程理论(两种认知机制,一种是无模型的,另一种是以模型为基础的)将更流行。“人工直觉”将不再是一个附加概念,2018年会更普及。


无法实现可解释性


有两个关于解释性的问题。较为常见的一个问题是,人类无法掌握过多解释规则。另一个不为人所知的问题是,机器创造的概念是完全陌生和违反解释规则的。我们已经在AlphaGo Zero和AlphaZero的策略中看到了这一点。人类会观察到一个举动非常规,但是可能根本无法理解这一举动背后的逻辑。

 

在我看来这是一个无法解决的问题。相反,机器正在变得非常擅长“伪造解释”。简而言之,“具有可解释性的机器”这一目标是理解人类可以理解的解释。然而,在大多数情况下,人类无法完全获得完全可解释性。

 

深度学习的可解释性将通过创建“伪造解释”来实现。


深度学习研究泛滥


ICLR 2018年会议上提交的论文数量约为4000份。一个研究员每天必须看10篇论文,才能跟上这种节奏。

 

为了在理论上取得进步,我们需要更先进的数学来帮助理解问题。这将成为一个难题,因为大多数深度学习研究人员没有相应的数学背景来理解这类系统的复杂性。深度学习需要有深厚数学背景的研究人员,然而这类研究人员却非常少。

 

由于论文太多,理论欠佳,导致了现在“炼金术”的状态。

 

目前还缺少通向通用人工智能的总体路线图。由于理论薄弱,因此我们能做的就是制定与人类认知有关的路线图。我们只有源自认知心理学的思辨理论框架。这是一个糟糕的情况,因为来自这些领域的实证数据质量参差不齐。

 

2018年,深度学习研究论文数量可能会翻三番或四倍。


通过教学环境实现产业化


通过教学环境的发展,深度学习系统会更具可预测性和可控性。如果你想找到最原始的教学方法,那么只需要看看如何训练深度学习网络。我们在这方面取得了很多进展。


会话认知


我们衡量通用人工智能的方式是过时的,需要一种新范式来解决现实世界的动态复杂性(动态意为非固定)。2018年将看到更多相关报道。


有道德地使用AI


2018年将需要更多有道德地使用人工智能。人们现在愈发意识到,自动化所带来的意料之外的灾难性影响。现在Facebook,Twitter,Google,Amazon上的一些简单自动化可能会对社会造成不良影响。

 

在部署能够预测人类行为的机器时,我们需要了解相应道德规范。

 

作者:Carlos E. Perez是《Artificial Intuition and the Deep Learning Playbook》一书作者。


原文地址https://medium.com/intuitionmachine/10-fearless-predictions-for-deep-learning-in-2018-bc74a88b11d9



新智元2018新年寄语


2017年有几个关键词,第一是探索极限,探索人类智能和机器智能的极限。第二是城市升级,无论智能交通还是中国要用人工智能作为支柱产业,可能都会面临国家经济体系的升级。第三是产业跃迁,我们要接地气,每个产业都用AI技术赋能,爆发出来颠覆传统体系的潜力。


2017,新智元见证人工智能成为时代主流,中国企业成为全球互联网主角,新智元平台也实现超35万平台用户产业链互联。与掌握AI技术的智者同行,是新智元之幸。2018,我们不忘初心再出发,一起构建AI开放平台,助力中国智能+


最后,祝愿新智元的朋友们能够利用AI工具赋能社会、赋能人类。


——新智元创始人兼CEO    杨静



加入社群


新智元AI技术+产业社群招募中,欢迎对AI技术+产业落地感兴趣的同学,加小助手微信aiera2015入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名-公司-职位;专业群审核较严,敬请谅解)。


此外,新智元AI技术+产业领域社群(智能汽车、机器学习、深度学习、神经网络等)正在面向正在从事相关领域的工程师及研究人员进行招募。


2018,加入新智元社群,一起构建AI开放平台,助力中国智能+

登录查看更多
4

相关内容

随机梯度下降法(通常在SGD中被缩短),也称为增量梯度下降法,是梯度下降优化方法的随机近似,用于最小化写为可微函数之和的目标函数。换句话说,SGD试图找到 迭代的最小值或最大值。
【牛津大学&DeepMind】自监督学习教程,141页ppt
专知会员服务
179+阅读 · 2020年5月29日
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
128+阅读 · 2020年4月25日
2020年中国《知识图谱》行业研究报告,45页ppt
专知会员服务
239+阅读 · 2020年4月18日
生物数据挖掘中的深度学习,诺丁汉特伦特大学
专知会员服务
67+阅读 · 2020年3月5日
新时期我国信息技术产业的发展
专知会员服务
70+阅读 · 2020年1月18日
【强化学习】深度强化学习初学者指南
专知会员服务
179+阅读 · 2019年12月14日
【斯坦福&Google】面向机器人的机器学习,63页PPT
专知会员服务
25+阅读 · 2019年11月19日
百度研究院|2020年10大人工智能科技趋势
专知
7+阅读 · 2019年12月24日
大脑通过统计推理表征“自我”
人工智能学家
6+阅读 · 2019年9月4日
2019年深度学习的十大预测
人工智能学家
6+阅读 · 2019年1月31日
【机器学习】机器学习:未来十年研究热点
产业智能官
16+阅读 · 2018年11月4日
2019年机器学习:追踪人工智能发展之路
人工智能学家
4+阅读 · 2018年10月14日
《2018人工智能发展白皮书-技术架构篇》
智能交通技术
5+阅读 · 2018年9月11日
深度强化学习的弱点和局限
论智
6+阅读 · 2018年2月27日
深度学习背景下的神经网络架构演变
极市平台
6+阅读 · 2018年1月25日
Generating Fact Checking Explanations
Arxiv
9+阅读 · 2020年4月13日
Arxiv
102+阅读 · 2020年3月4日
Arxiv
5+阅读 · 2018年10月4日
Video-to-Video Synthesis
Arxiv
9+阅读 · 2018年8月20日
Arxiv
8+阅读 · 2018年1月30日
VIP会员
相关VIP内容
相关资讯
百度研究院|2020年10大人工智能科技趋势
专知
7+阅读 · 2019年12月24日
大脑通过统计推理表征“自我”
人工智能学家
6+阅读 · 2019年9月4日
2019年深度学习的十大预测
人工智能学家
6+阅读 · 2019年1月31日
【机器学习】机器学习:未来十年研究热点
产业智能官
16+阅读 · 2018年11月4日
2019年机器学习:追踪人工智能发展之路
人工智能学家
4+阅读 · 2018年10月14日
《2018人工智能发展白皮书-技术架构篇》
智能交通技术
5+阅读 · 2018年9月11日
深度强化学习的弱点和局限
论智
6+阅读 · 2018年2月27日
深度学习背景下的神经网络架构演变
极市平台
6+阅读 · 2018年1月25日
相关论文
Generating Fact Checking Explanations
Arxiv
9+阅读 · 2020年4月13日
Arxiv
102+阅读 · 2020年3月4日
Arxiv
5+阅读 · 2018年10月4日
Video-to-Video Synthesis
Arxiv
9+阅读 · 2018年8月20日
Arxiv
8+阅读 · 2018年1月30日
Top
微信扫码咨询专知VIP会员