深度学习到底怎么学?

2019 年 1 月 30 日 深度学习与NLP


1943年,神经学家麦卡洛克和数学家皮兹在《数学生物物理学公告》上发表了论文《神经活动中内在思想的逻辑演算》,提出了神经网络和数学模型(MCP模型),也就是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。


所谓的“模拟大脑”诞生,人工智能的大门由此开启。


麦卡洛克(右)和皮兹



经历了半个多世纪的曲折发展,2006年,神经网络之父,机器学习泰斗杰弗里·辛顿和他的学生Ruslan Salakhutdinov在《科学》上发表了一篇学术文章,提出深层网络训练中梯度消失问题的解决方案:无监督预训练对权值进行初始化+有监督训练微调。


自此,“深度学习”网络正式登上历史舞台,人工智能的性能也得以取得更大进展。


神经网络之父杰弗里·辛顿



近十余年来,随着算法的逐步成熟,深度学习逐渐成为人工智能的主流,更多相关的AI应用落地:2011年夺得益智问答比赛大奖的IBM Watson,2016、2017连续两年相继击败围棋世界冠军李世石、柯洁的Google AlphaGo等,都是深度学习应用的代表。


AlphaGo曾打得柯洁放声痛哭



深度学习风头正劲,但究竟什么是深度学习?


国立台湾大学电机工程系助理教授李宏毅曾总结深度学习为三个步骤:建构网络、设定目标、开始学习。


李宏毅说,深度学习的类神经网络就是一个函数集,我们丢进去一堆数值,网络就输出一堆数值,并在其中寻找最优解,就这么简单。


李宏毅教授



但现实情况要远复杂的多。神经网络一层叠着一层,每层都有很多神经元,并随时都会产生各种变数;寻找最优解的过程也不是一帆风顺,需要根据结果不断调整函数内容,不断训练机器,这一过程就是所谓的“学习”。


以AlphaGo为例,技术团队设定好神经网络架构,输入大量的棋谱,让机器自我消化,不断学习棋法。最终,AlphaGo就能根据不同对手的落子,根据棋局不同情况作出回应。


神经网络的基本结构



AlphaGo虽然厉害,但它的架构就是为下棋而设计的,倘若让AlphaGo去做其他事情,比如扫地、开车,那就要根据需求重新设计架构、训练机器


李宏毅表示,深度学习并不是万能的人工智慧,它其实只能针对特定的需求来设计,现在的各种酷炫应用都还在原始阶段,还有很多需要人类去定义、设计。未来当机器可以自己定义架构时,就更加值得期待。




人工智能与深度学习领域日益热门,越来越多的人想进入这一领域学习深造,就业深耕。


但对于大多数国内的学习者或爱好者来说,几乎只有到硕士、博士阶段才能真正接触到系统性的深度学习教学,而真正的实践机会更是寥寥。


对此,ViaX推出新的深度学习应用实战Workshop,以制作聊天机器人为切入点,教授前沿神经网络研究方法。


同时,课程也会提供理论应用的实践场景:你将在新加坡高性能计算机研究所研究员的带领下,以实验室标准进行深度学习实战,基于神经网络完成一篇文章的摘要提取——真正实现理论与实践的有机结合,让你学有学用。




实战Workshop-深度学习应用

制作聊天机器人-新加坡高性能计算机研究所科研实战项目


本次实战Workshop中,不只有新加坡高性能计算机研究所研究员带领你进行实践,我们更安排了耶鲁大学研究员进行知识理论的教学。


导师团介绍



▌ LBB(Workshop部分导师)

ViaX盐研教育理工科导师

  • 华盛顿大学全奖博士

  • 耶鲁大学研究员

  • 累计发表多篇国际学术论文

▌ XXX(实战部分导师,科研指导人)

ViaX盐研教育理工科导师

  • 新加坡南洋理工大学全奖博士

  • 新加坡国家自然科学基金项目负责人

  • 新加坡高性能计算机研究所研究员

  • 累计发表包括《自然医学》(IF=32.621,2017)在内的顶级国际学术论文十余篇

  • 曾荣获国际人工智能l联合会议(IJCAI)研讨会最佳论文奖

  • 专注机器学习算法研究与计算机视觉、自然语言处理应用,精通Python编程与深度学习




强大的导师团之外,本次Workshop的产出也极为丰富——除了必备的理论知识与宝贵实践机会,你还将有如下收获:


课程产出



 实战经历

课程将有两项实践产出:

第一阶段-通过课程学习产出专属聊天机器人——掌握深度学习理论基础。

第二阶段-基于神经网络完成一篇文章的摘要提取,研究课题的数据收集、处理和建模过程——深化神经网络的文本摘要提取研究方法、机理及应用。


 课程证明

第一阶段(Workshop部分)导师签发的课程证明。


 实习证明

科研指导人,新加坡高性能计算机研究所研究员签发的实习证明。

你将在科研指导人的带领下,以世界一流研究所的实验标准进行科研实践,培养严谨科研思维,体验前沿的科研氛围。


 其他可选

英文个人学习、研究计划。



适合人群



▌ 申请机器学习、自然语言处理、计算机科学、数据科学等方向的出国留学的学生

让你快速上手深度学习与神经网络应用,掌握科研必备技能,并获得项目实习证明,大幅提升申请竞争力!


 所有对机器学习、模式识别和数据挖掘方法,Python编程基础感兴趣,想获得实践认知的同学

帮你了解更多research project所需基本技能,了解更多领域内专业知识、实践技能及前沿的科研实验方向。




本次课程将于2019年4月6日开课,分为理论课程+实战课程两个阶段。


课程安排





开课时间



2019年4月6日 


具体时间安排为:

Workshop阶段:

4月6日,9:00-12:00

4月13日、20日、27日,5月4日,10:00-12:00

实战阶段:

5月5日、12日、19日、26日,6月2日,10:00-12:00



报名方式


 

报名或咨询更多课程详情

请扫码添加ViaX学术顾问

添加学术顾问时请备注:咨询


点击“阅读原文”查看更多课程详情




点击查看近期Workshop





戳原文,了解更多课程详情
登录查看更多
0

相关内容

李宏毅(Hung-yi Lee)目前任台湾大学电机工程学系和电机资讯学院的助理教授,他曾于 2012 年获得台湾大学博士学位,并于 2013 年赴麻省理工学院(MIT)计算机科学和人工智能实验室(CSAIL)做访问学者。他的研究方向主要是机器学习(深度学习)和语音识别。
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
129+阅读 · 2020年7月10日
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
【模型泛化教程】标签平滑与Keras, TensorFlow,和深度学习
专知会员服务
20+阅读 · 2019年12月31日
深度学习算法与架构回顾
专知会员服务
80+阅读 · 2019年10月20日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
229+阅读 · 2019年10月12日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
118+阅读 · 2019年9月24日
【深度学习】深度学习的问题究竟在哪?
产业智能官
4+阅读 · 2019年8月30日
深度学习的冬天什么时候到来?
中国计算机学会
14+阅读 · 2019年7月17日
深度学习详解
人工智能学家
5+阅读 · 2019年4月25日
自然语言处理NLP的坑到底有多大?
专知
46+阅读 · 2018年11月12日
深度学习面试100题(第41-45题)
七月在线实验室
15+阅读 · 2018年7月18日
人工智能,机器学习和深度学习之间的差异是什么?
大数据技术
6+阅读 · 2017年11月22日
【深度学习】神经网络和深度学习简史
产业智能官
8+阅读 · 2017年11月16日
Arxiv
4+阅读 · 2019年9月26日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Learning to Focus when Ranking Answers
Arxiv
5+阅读 · 2018年8月8日
Bidirectional Attention for SQL Generation
Arxiv
4+阅读 · 2018年6月21日
Arxiv
9+阅读 · 2018年3月10日
Arxiv
5+阅读 · 2018年2月26日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关VIP内容
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
129+阅读 · 2020年7月10日
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
【模型泛化教程】标签平滑与Keras, TensorFlow,和深度学习
专知会员服务
20+阅读 · 2019年12月31日
深度学习算法与架构回顾
专知会员服务
80+阅读 · 2019年10月20日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
229+阅读 · 2019年10月12日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
118+阅读 · 2019年9月24日
相关资讯
【深度学习】深度学习的问题究竟在哪?
产业智能官
4+阅读 · 2019年8月30日
深度学习的冬天什么时候到来?
中国计算机学会
14+阅读 · 2019年7月17日
深度学习详解
人工智能学家
5+阅读 · 2019年4月25日
自然语言处理NLP的坑到底有多大?
专知
46+阅读 · 2018年11月12日
深度学习面试100题(第41-45题)
七月在线实验室
15+阅读 · 2018年7月18日
人工智能,机器学习和深度学习之间的差异是什么?
大数据技术
6+阅读 · 2017年11月22日
【深度学习】神经网络和深度学习简史
产业智能官
8+阅读 · 2017年11月16日
相关论文
Arxiv
4+阅读 · 2019年9月26日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Learning to Focus when Ranking Answers
Arxiv
5+阅读 · 2018年8月8日
Bidirectional Attention for SQL Generation
Arxiv
4+阅读 · 2018年6月21日
Arxiv
9+阅读 · 2018年3月10日
Arxiv
5+阅读 · 2018年2月26日
Arxiv
10+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员