吴恩达最新问答:深度学习泡沫何时会破?

2017 年 11 月 22 日 德先生


如何学习机器学习/深度学习?如何从事机器学习方向工作?最近,吴恩达在Quora做了一次最新session。他认为,复现他人发表的结果是一个掌握机器学习非常有效的方式,但作用却被低估了;任何人都能成为机器学习专家,无论目前的知识水平如何,要做的只是不断学习。


Q

深度学习泡沫何时会破?

大约100年前关于电力也有很多炒作。那个泡沫现在也还没破,我们发现电力很有用!


讲真,深度学习已经创造了大量的价值——用于网络搜索,广告,语音识别,推荐系统等等——这些显然是不会消失的。深度学习,还有更广泛的其他AI工具(图模型,规划,KR等),现在都有一个明确的路径在引导行业转型。深度学习的影响将超越科技界。


话虽如此,我认为在核心技术界之外,有一些过分夸张的对「有感知力的AI」(sentient AI)的期望;我也和很多CEO交流过,他们似乎认为AI是所有技术问题的灵丹妙药。所以,在深度学习中是有一些不必要的泡沫,我希望这些较小的泡沫破掉——在它们有时间发展壮大之前,越早破掉越好。

 


Q

学完你在Coursera上的机器学习课以后可以做些什么项目?

想新项目的一个好方法是花时间研究以前的老项目。


大脑很神奇。当你学习一类工作(例如ML项目)的许多例子后,你能学习概括并想出这类问题新的例子。这也是为什么很多艺术家通过复制大师作品来学习绘画——如果你参观美术馆,你有时会看到艺术生坐在地板上临摹墙上展示的艺术作品。同样,很多研究人员通过复现旧研究论文的结果来学习发明新的算法。对于我来说,正是因为在不同的公司看到了很多实际的ML案例,我现在才能定期为ML转型公司找到新的机会。

  

所以,如果你想知道如何做有趣的项目,阅读(也许复现)你喜欢的以前的旧项目,你会开始产生你自己的想法。你可以参考我斯坦福大学的学生最近的这个项目:

CS 229机器学习最终项目,2016年秋

(http://cs229.stanford.edu/projects2016.html)

  

最后,当你完成一个有趣的项目时,请写一篇Arxiv论文或博客文章,也许在Github上开源代码,并与社区分享!这样,其他人现在可以反过来学习你。此外,你还可以获得更多的反馈,从而加速你的学习。

  

除了研究以前的例子,我还花时间和人聊天,包括ML以外的领域专家(例如,我花费了大量时间与医疗保健专家进行交谈),这通常会激发新项目在ML和医疗保健等领域。

 

Q

机器学习的初学者,学完了机器学习和深度学习MOOC,怎样才能更进一步,提升到一个新的水平,能够阅读研究论文,并在行业中有贡献?

课程是非常有效的学习方式,作为开始很好。学完以后,下面是你可以采取一些额外的步骤:

  

关注Twitter上的ML大V,看看他们关注哪些研究论文/博客文章等。去看这些论文和文章。


复现他人发表的结果。这是一个掌握ML非常有效但却被低估的方式。看到很多新的斯坦福大学博士生成长为很棒的研究人员,我可以自信地说,复现他人的成果(不只是阅读论文)是最有效的方式之一,这样能确保你了解最新的细节算法。许多人大步跃进试图发明新的东西,当然这也值得一试,但实际上发明新东西反而是学习和建立知识基础比较慢的方式。


当你看完足够多的论文/博客,并复现足够多的结果后,很奇妙地,你会开始产生自己的意见和想法。当你自己建立新的东西时,发表一篇论文或博客文章,并考虑开源代码,与社区分享!这将有助于你从社区获得更多反馈,并进一步加速你学习的过程。


参加任何其他帮助你学习的活动,如在线比赛,线下讨论会,参加(或观看在线视频)好的AI/ML/视觉/NLP/语音学术大会,比如ICML,NIPS和ICLR等会议。


找朋友跟你一起做。你可以自己取得很大的进步,但跟朋友交换意见和想法将有助于你学习,并使学习过程更有趣。如果你认识教授,博士生或优秀研究人员,也可以与他们多交流。有时候,我跟Geoff Hinton,Yoshua Bengio,Yann LeCun这些人交流5分钟就学到一大堆的东西,当然,跟来自我在斯坦福博士的博士生,deeplearning.ai的团队成员,还有我参观的各个公司的工程师交流,也能得到很多启发。


尽管跟朋友有合作很重要,但如果你朋友不同意你的想法,有时候你仍然应该去做,自己尝试去实现。Geoff Hinton在接受deeplearning.ai采访中说过类似的话。


我知道的每个世界级的ML研究员都花了很多时间来实现算法,调整超参数,阅读论文,以及自己找出什么有用什么不起作用。我觉得这种类型的工作也很有趣,希望你也会这样。



Q

我想从事机器学习相关工作,但不知道自己是否够格。有什么检测的方法吗?  

你肯定够格的!无论目前的知识水平如何,只要你不断努力,继续学习,你就可以成为机器学习的专家,并且有很好的职业发展。

  

任何对机器学习感兴趣的人,请从学习编程开始。当你掌握编程基础后,可以考虑机器学习课程(比如Coursera的机器学习),然后考虑深度学习专门课程(比如deeplearning.ai)。

  

再进一步,你可以阅读研究论文(关注Twitter上的ML大V,看看他们感兴趣的论文)。尝试复现研究论文的结果就更好了。试着去复现他人的结果是掌握AI最有效的方法之一,可惜很少有人用。你还可以考虑参加在线ML竞赛和学术会议等活动,并继续阅读书籍/博客/论文。


你是不是有资格在机器学习领域工作真的不重要——我确定你肯定够资格!你要做的只是要去学习,让你越来越适合而已。


Q

数学不好,该掌握哪些数学知识才能学好机器学习和AI?

我认为机器学习中最重要的数学依次是:


线性代数

概率和统计

微积分(包括多变量微积分)

优化

  

这以后其他的相关度都快速降低。我发现信息理论也有帮助。你可以在Coursera或大多数大学找到所有这些课程。

  

我认为有机会学习相关数学和机器学习的博士已经减少了,因为机器学习已经变得更偏向经验(基于实验),较少理论,特别是深度学习的兴起,让这一趋势更加明显。

  

我在读博士的时候,很喜欢真实的分析,也研究了微分几何,测量理论和代数几何。你如果能了解这些领域当然更好,但如果时间有限,你可以考虑用更多的时间学习机器学习本身,甚至研究一些建立AI系统的其他技术基础,例如正在建设大型数据系统和如何组织巨型数据库以及HPC(高性能计算)的算法。



Q

AI该受管制吗?

AI作为基本技术不应受到管制。政府阻止你在笔记本电脑上实现神经网络也是不现实的。然而,有的AI应用,例如无人驾驶,是需要监管的。AI在国际对反垄断(监管垄断)领域也有新的影响,监管机构尚未对此有深入思考,但他们应该对此有深入探讨。


关于人工智能管制的讨论大部分来源于对「有智慧的AI」(sentient AI)或「邪恶杀手机器人」的不理性的恐惧,而不是更深入地了解自己能做和不能做的事情之后的结果。今天的AI还不成熟,处于迅速发展期,任何国家的强硬监管都会阻碍该国的AI发展。


然而,一些人工智能的应用需要监管来保护个人,并加速其采纳进程。汽车行业已受到严格监管来确保人的安全,这将有助于整个行业发展。其他领域也相同,包括制药,军控,金融市场等。但是,监管应该是针对某一个行业的,并且基于对用例的深思熟虑,以及我们在特定产业而不是基本技术上看到的结果。


政府也可以发挥重要的作用,帮助在不远的未来那些受AI影响而失去工作的人,例如提供基本收入和再培训。


最后,AI的兴起正在为公司竞争创造新的途径,各家竞相争夺主导权,打击竞争对手。反垄断监管机构远远不如企业对这一点理解深刻,需要做的还有很多。


Q

我女儿刚刚学会走路,我应该如何让她准备好迎接15年后的AI世界?我应该教她Python吗?

是的,请教她编码。更重要的是,培养她能够继续学习的能力。


在CS世界中,我们所有人都习惯于每5年就要跳到新技术和思维模式(互联网→云→移动→AI/机器学习),因为新技术以这样的速度发明。所以,CS人也一直习惯于不断学习新的事物。


现在CS几乎感染了所有其他的行业。所以,现在不仅仅是CS世界每几年都要改变。这就是为什么现在每个人都需要改变。这就是为什么能够持续学习将是你能教你女儿最重要的职业技能。


我也认为(差不多)每个人都应该学习编码。曾经我们以为是不是不需要每个人都会读书写字。是不是只有几个僧侣能诵经就好了,大多数人不需要读/写?是不是只要少数人写出畅销书就好了,其他人不需要会写?我们发现,随着读写能力的提高,人与人之间的沟通变得更好:我们能写电子邮件,即使读者只有一个人,这样也有价值。


今天我们处于一个很少人可以编码的时代。但是,如果每个人都可以编写代码,也许经营一家小商店的夫妻俩可以编写几行代码来定制他们的LCD显示屏,用于本周的促销活动;或许丈夫可以写一个简单的应用程序,唯一的观众将是他的妻子,就像他今天可以发送一封邮件,唯一的读者是他的妻子一样。


广泛的扫盲改变了人与人之间的交流。 现在,人机交流也变得越来越重要,编码能力将成为可以预见的未来最深层次的人机交流的基础。 所以,我不同意那些认为世界只需要几百万程序员的人;我认为几乎每个人都应该学习编程,就像几乎每个人都应该学习阅读/写作一样。


来源:Quora,编译:文强,版权归原作者所有,如有侵权请联系小编删除。


📚往期文章推荐


人工智能名人堂第49期 | 斯坦福研究院名人堂成员:Peter E. Ha

🔗中国工程程院院士高文:从大数据科学到人工智能的迁移过程

🔗中国工程院院士李国杰:人工智能的三大悖论

🔗人工智能名人堂第53期 | 万维网之父:蒂姆·伯纳斯·李

🔗《机器崛起》| 赛博空间:高科技对现实的思考与映射

🔗周末读书 |《创造自然》:亚历山大·冯·洪堡的科学发现之旅

🔗人工智能名人堂第52期 | SHRDLU系统之父:Terry Winograd

🔗腾讯500页新书《人工智能:国家人工战略行动抓手》讲了啥?

🔗《机器崛起》|从热映的《银翼杀手》追溯赛博朋克之文化起源

🔗严复:一个长期被“误读”的思想家

🔗雨果的另一面:4000余幅画作,你可能一张也没看过



德先生公众号 | 往期精选


在公众号会话位置回复以下关键词,查看德先生往期文章!


人工智能|机器崛起|区块链|名人堂

虚拟现实|无人驾驶|智能制造|无人机

科研创新|网络安全|数据时代|人机大战

……

更多精彩文章正在赶来,敬请期待!


点击“阅读原文”,移步求知书店,可查阅选购德先生推荐书籍。

登录查看更多
19

相关内容

《强化学习》简介小册,24页pdf
专知会员服务
272+阅读 · 2020年4月19日
【综述】金融领域中的深度学习,附52页论文下载
专知会员服务
163+阅读 · 2020年2月27日
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
2019->2020必看的十篇「深度学习领域综述」论文
专知会员服务
270+阅读 · 2020年1月1日
六篇 CIKM 2019 必读的【图神经网络(GNN)】长文论文
专知会员服务
37+阅读 · 2019年11月3日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
229+阅读 · 2019年10月12日
医疗知识图谱构建与应用
专知会员服务
384+阅读 · 2019年9月25日
吴恩达:AI未来将呈现四大发展趋势
AI100
6+阅读 · 2019年8月30日
带学吴恩达《深度学习》,带打Kaggle大赛!
机器学习算法与Python学习
4+阅读 · 2019年4月24日
李开复为何说年底人工智能泡沫要破?
数据猿
4+阅读 · 2018年2月5日
深度学习2017成果展
论智
4+阅读 · 2017年12月26日
吴恩达:AI论文已经够多了,赶紧“搞点事”吧!
全球人工智能
4+阅读 · 2017年11月15日
吴恩达说,AI论文够多了,赶紧搞吧!
云头条
20+阅读 · 2017年11月13日
学完吴恩达全部深度学习课程,这有一份课程解读
THU数据派
14+阅读 · 2017年10月27日
Deflecting Adversarial Attacks
Arxiv
8+阅读 · 2020年2月18日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
6+阅读 · 2018年4月21日
VIP会员
相关VIP内容
《强化学习》简介小册,24页pdf
专知会员服务
272+阅读 · 2020年4月19日
【综述】金融领域中的深度学习,附52页论文下载
专知会员服务
163+阅读 · 2020年2月27日
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
2019->2020必看的十篇「深度学习领域综述」论文
专知会员服务
270+阅读 · 2020年1月1日
六篇 CIKM 2019 必读的【图神经网络(GNN)】长文论文
专知会员服务
37+阅读 · 2019年11月3日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
229+阅读 · 2019年10月12日
医疗知识图谱构建与应用
专知会员服务
384+阅读 · 2019年9月25日
相关资讯
吴恩达:AI未来将呈现四大发展趋势
AI100
6+阅读 · 2019年8月30日
带学吴恩达《深度学习》,带打Kaggle大赛!
机器学习算法与Python学习
4+阅读 · 2019年4月24日
李开复为何说年底人工智能泡沫要破?
数据猿
4+阅读 · 2018年2月5日
深度学习2017成果展
论智
4+阅读 · 2017年12月26日
吴恩达:AI论文已经够多了,赶紧“搞点事”吧!
全球人工智能
4+阅读 · 2017年11月15日
吴恩达说,AI论文够多了,赶紧搞吧!
云头条
20+阅读 · 2017年11月13日
学完吴恩达全部深度学习课程,这有一份课程解读
THU数据派
14+阅读 · 2017年10月27日
Top
微信扫码咨询专知VIP会员