超算Titan仅用一天生成AI神经网络,顶尖人类科学家则需数月

2018 年 1 月 4 日 新智元





  新智元报道  

作者:Cecilia


【新智元导读】美国能源部橡树岭国家实验室利用超级计算机Titan,开发出一种人工智能系统,一天之内就能生成神经网络。而最聪明的数据科学家也需要好几个月才能开发出一个深度学习软件。即使是Google的AutoML,也需要数周的时间才能设计出一个优秀的图像识别系统。


美国能源部橡树岭国家实验室(下称ORNL)利用美国功能最强大的超级计算机,开发出一种人工智能系统,一天之内就能生成神经网络,而且比任何人类都做得更好。

 

即使是最聪明的数据科学家也需要好几个月才能开发出深度学习软件。即使是Google的AutoML,也需要数周的时间才能设计出一个优秀的图像识别系统。


利用超算,AI能在一天之内生成神经网络


橡树岭国家实验室(ORNL)的超级计算机Titan,拥有超过18,000个GPU。


 

ORNL研究小组的算法叫做MENNDL,即深度学习的多节点进化神经网络。这个算法并不是用来创建那种收集可爱猫咪照片的AI系统。相反,MENNDL是测试和训练数以千计的潜在神经网络的工具,以处理特殊的科学问题。

 

ORNL的博士后研究员Steven Young指出,这就需要采取与Google和Facebook的 AI平台不同的方法。

 

他解释说:“我们发现那些(神经网络)通常不是许多问题的最优网络,因为我们的数据虽然可以被认为是图像,却其实是不同的。 这些图像和问题,与物体检测有很大不同。”


论文摘要


该研究团队发表了一篇名为Optimizing deep learning hyper-parameters through an evolutionary algorithm的论文。以下是论文摘要:


由于深度学习具有相对自动特征生成和高精度分类能力,近来在成像和语音应用中取得了许多成功。虽然这些模型通过数据驱动的方法学习参数,但通过超参数选择的模型选择(作为架构构造)仍然是单调乏味且高度直觉驱动的任务。为了解决这个问题,我们提出了多节点深度学习的进化神经网络(MENNDL),作为一种通过遗传算法进行超参数优化来实现计算集群网络选择自动化的方法。


论文地址:https://www.ornl.gov/content/optimizing-deep-learning-hyper-parameters-through-evolutionary-algorithm


应用案例


MENNDL曾应用在费米国家加速器实验室的粒子物理实验中。费米实验室的研究人员对中微子和高能亚原子粒子很感兴趣,这些粒子很少与正常物质相互作用,但可能是理解宇宙形成早期的关键。费米实验室的一个实验涉及到一种中微子相互作用的“快照”。

 

该团队想用AI系统对费米实验室的探测器数据进行分析和分类。 MENNDL在24小时内评估了500,000个神经网络。其最终解决方案优于人类科学家开发的定制模型。

 

在另一个涉及与孟菲斯圣裘德儿童研究医院合作的案例中,MENNDL把人类设计算法在脑组织三维电子显微镜图像内线粒体识别错误率减少了30%。

 

Young表示:“我们的AI能够在很短的时间内为特定的数据集设计网络,而且比人类做得更好。”

 

MENNDL能够定义最优超参数来处理特定的数据集,这使它脱颖而出。

 

“你并不总是需要一个庞大的网络。有时你只需要一个具有正确超参数的小型网络,”Young说。


项目展示


研究项目展示地址:http://ornlcda.github.io/MLHPC2015/presentations/4-Steven.pdf




下个超算将更强大


ORNL的团队预计,实验室的下一个超级计算机Summit明年上线时,可能会产生更大的影响。虽然Summit只拥有4600个节点,但它将采用Nvidia最新最强的GPU和IBM的CPU。这意味着Summit将提供超过世界第五超算Titan的五倍以上的计算性能。

 

Young说:“Summit将以更快的速度解决更复杂的问题。”

 

请拭目以待。



新智元2018新年寄语


2017年有几个关键词,第一是探索极限,探索人类智能和机器智能的极限。第二是城市升级,无论智能交通还是中国要用人工智能作为支柱产业,可能都会面临国家经济体系的升级。第三是产业跃迁,我们要接地气,每个产业都用AI技术赋能,爆发出来颠覆传统体系的潜力。


2017,新智元见证人工智能成为时代主流,中国企业成为全球互联网主角,新智元平台也实现超35万平台用户产业链互联。与掌握AI技术的智者同行,是新智元之幸。2018,我们不忘初心再出发,一起构建AI开放平台,助力中国智能+


最后,祝愿新智元的朋友们能够利用AI工具赋能社会、赋能人类。


——新智元创始人兼CEO    杨静



加入社群


新智元AI技术+产业社群招募中,欢迎对AI技术+产业落地感兴趣的同学,加小助手微信aiera2015入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名-公司-职位;专业群审核较严,敬请谅解)。


此外,新智元AI技术+产业领域社群(智能汽车、机器学习、深度学习、神经网络等)正在面向正在从事相关领域的工程师及研究人员进行招募。


2018,加入新智元社群,一起构建AI开放平台,助力中国智能+


登录查看更多
1

相关内容

人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。
斯坦福2020硬课《分布式算法与优化》
专知会员服务
117+阅读 · 2020年5月6日
AI 最大的挑战:也许我们从根上就错了
InfoQ
5+阅读 · 2019年6月14日
李飞飞等ICLR2019论文:构建人类眼睛感知评估
全球人工智能
4+阅读 · 2019年6月4日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
仅训练996个剧本,迪士尼用AI自动生成动画
机器学习算法与Python学习
7+阅读 · 2019年4月20日
GAN猫的脸
机械鸡
11+阅读 · 2017年7月8日
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Arxiv
21+阅读 · 2019年8月21日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
4+阅读 · 2018年11月7日
Arxiv
4+阅读 · 2018年2月13日
VIP会员
相关资讯
AI 最大的挑战:也许我们从根上就错了
InfoQ
5+阅读 · 2019年6月14日
李飞飞等ICLR2019论文:构建人类眼睛感知评估
全球人工智能
4+阅读 · 2019年6月4日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
仅训练996个剧本,迪士尼用AI自动生成动画
机器学习算法与Python学习
7+阅读 · 2019年4月20日
GAN猫的脸
机械鸡
11+阅读 · 2017年7月8日
相关论文
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Arxiv
21+阅读 · 2019年8月21日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
4+阅读 · 2018年11月7日
Arxiv
4+阅读 · 2018年2月13日
Top
微信扫码咨询专知VIP会员