Reddit最火!55页博士笔记总结ICLR 2019大会干货

2019 年 5 月 11 日 新智元
Reddit最火!55页博士笔记总结ICLR 2019大会干货





  新智元报道   

来源:David Abel

编辑:元子

【新智元导读】ICLR 2019共收到1591篇论文,录取率为31.7%。这篇55页、由布朗大学博士四年级学生David Abel总结整理的ICLR 2019参会Highlights笔记,提炼了演讲和会谈亮点,通篇干货!


作为今年上半年表现最为亮眼的人工智能顶会,ICLR 2019于5月6日至9日在美国新奥尔良举行。本届投稿比去年增长了近60%,共收到1591篇,录取率为31.7%。


与往年一样,本次大会每天分上午下午两场。每场形式基本一样,先是邀请演讲(invited talk),然后是讨论,也就是被选为能够进行口头发表(Oral)的论文、茶歇、海报展示(poster)。


邀请演讲列表:



8个邀请演讲主题:


  1. Cynthia Dwork:算法公平性的进展

  2. Leon Bottou:Learning Representations Using Causal Invariance

  3. Emily Shuckburgh:机器学习能否有助于地球健康的检查

  4. Ian Goodfellow:对抗机器学习

  5. Pierre-Yves Oudeyer:发展自主学习:人工智能,认知科学和教育技术

  6. Zeynep Tufekci:虽然我们都担心机器学习的失败,但如果它成功了,潜伏着什么危险?

  7. Mirella Lapata:用神经模型学习自然语言界面

  8. Noah Goodman:在上下文中学习语言


Criteo AI Lab给出的ICLR 2019提交的研究课题热度:



今天,人工智能领域最为重要的学术会议之一IJCAI也公布了最终论文接收结果。IJCAI 2019共收到有效提交论文4752篇,比去年多了近1300篇,接收850篇,接受率为17.9%,相比去年有所下降。主办方感慨今年论文提交数量确实多:



论文收录结果出炉后,被收录的自然纷纷晒出自己的收录通知;而另一边,落选者也表达了自己的遗憾之情。


那么ICLR 2019会场都有谁上台演讲了?他们都讲了什么?下面新智元为大家带来一份55页的ICLR 2019会议的Highlights笔记,由布朗大学博士四年级学生David Abel总结整理,通篇干货。



David个人主页:

https://david-abel.github.io/


这份笔记共分为3个部分,首先简单介绍了大会的亮点;接着介绍了第一天的算法公平性演讲和一些Workshop;后面主会部分提炼了部分演讲和会谈的亮点。

ICLR亮点:深度学习局限引争论,元学习、图神经网络最热门


最近围绕Rich Sutton的一篇《痛苦的教训》引发很多讨论,也在本次会议上进行了辩论。SPiRL研讨会2的小组讨论也有很多关于这个主题的见解,SPiRL研讨会非常出色。演讲者阵容,演讲和小组都很特别。


比较热门的话题有元学习,非常受欢迎,特别是meta RL;还有图神经网络。


David表示笔记中涉及到的演讲都是他最喜欢的,并特别提出了在RL中学习抽象/层次结构的一些非常好的论文,包括Nachum等人的“Near-Optimal Representation Learning for Hierarchical Reinforcement Learning”;Levy等人的“Learning Multi-Level Hierarchies with Hindsight”;Koul等人的“Learning Finite State Representations of Recurrent Policy Networks”。


下面新智元为大家介绍其中部分Keynote内容,文末负有完整笔记PDF文档供大家下载。


主旨演讲1:当前算法公平性的进展


算法公平性的议题早在9年前就被提出来了,今年是微软杰出科学家Cynthia Dwork在这个领域持续研究的第八年。她观察发现,算法对我们某些经历的控制越来越严重,比如我们网上观看的广告、申请贷款的资质、选择大学等等。如此一来,算法的公平性就显得尤为重要,尤其是对算法越来越依赖的今天。


在Keynote中,Cynthia Dwork提出两个观点:


  1. 算方是不公平的,数据不具备代表性,标签会体现出偏见

  2. 算法能够对我们的生活起到非常大的改变。举例:

    • 房屋按揭条款

    • 拘留/释放

    • 药物和健康

    • 决定一个孩子是否被从家中送走


很多论文都提到被上述例子震惊到:没想到算法对我们的影响如此之大。


接着Dwork给出了算法公平性需要满足两个定义,首先是群体公平性;其次是个体公平性。


什么是群体公平性呢?举个例子,学生入学的资格应该是平等的;或者,优秀班级和差的班级应该达成一种平衡。


个体公平性指的是在给定的分类任务方面,相似的人应该得到类似的对待。


Dwork提出实现算法公平性的几点尝试,例如可以通过汇总从少数代表获得的近似值来实现视差,弥合群体与个人公平性之间代沟等。


主旨演讲2:利用机器学习对地球健康进行检查


气候学家Emily Shuckburgh提到,地球上二氧化碳浓度增长迅猛。



最近一项关于生物多样性的研究表示,在接下来的几十年中,将会有100万种物种面临灭绝的危险。那么机器学习在地球健康检查中,能够起到哪些作用呢?


Emily Shuckburgh指出,我们现在迫切需要了解有关气候风险的可操作信息,以及从自然灾害(例如洪水、干旱等)、生物多样性变化导致的影响、生物链和自然世界(例如珊瑚礁,森林,北极海冰,永久冻土等)中发现潜在的风险和结果。


目前在地球气候变化方面,我们有大量可用数据,包括来自卫星、水下探测机器人设备、探测器网络、电脑的模拟环境以及众包。这些数据的数量,远远超出了我们人类的处理能力。


Emily Shuckburgh认为机器学习可以在从3个方面提供行星健康检查,分别是:对行星进行监控、找出症结并进行治疗。


主旨演讲3:利用AI研究儿童学习行为


法国国家信息与自动化研究所(Inria)的AI研究员Pierre-Yves Oudeyer提到,孩子是非凡的学习者!不需要工程师监督他们,手动调整他们的学习算法和环境的每个方面。


儿童行为的研究,可以为以下3个领域提供指导:


  1. 认知科学:理解人类发展和学习

  2. 机器人:终身和自主学习的新理论

  3. 在教育技术中的应用


Oudeyer举了3个例子:


  1. 在机器人中设计运动和感知原始物的形态学,身体生长和成熟的研究

  2. 考虑语言习得,例如孩子们可以很快学会新语言

  3. 内在动机,游戏和好奇心


主旨演讲4:机器学习威胁论


科技社会学家Zeynep Tufekci提到科学是一把双刃剑,比如很多人从小想当物理学家,结果许多物理学家遇到了核武器的问题,科学领域进步面临大规模道德问题。


最近在欧洲核子研究中心,700人担心如何分配诺贝尔奖;与此同时在计算机科学领域,我们担心我们的工具会对社会、安全、劳动力、气候、社会基础设施等的影响。


Tufekci提到,我们是这个世界的一部分,我们开发出来的工具也是,而这些工具也不一定会按照我们希望的方式被使用,它可以向善也可以为恶。我们需要担心的是:如果机器学习有效,我们该怎么办?我们给了这个世界什么?


完整笔记下载:

https://david-abel.github.io/notes/iclr_2019.pdf



新智元春季招聘开启,一起弄潮 AI 之巅!

岗位详情请戳:


【加入社群】


新智元 AI 技术 + 产业社群招募中,欢迎对 AI 技术 + 产业落地感兴趣的同学,加小助手微信号:aiera2015_2   入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。

登录查看更多
29

相关内容

ICLR,全称为「International Conference on Learning Representations」(国际学习表征会议),2013 年才刚刚成立了第一届。这个一年一度的会议虽然今年才办到第五届,但已经被学术研究者们广泛认可,被认为「深度学习的顶级会议」。 ICLR由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。 ICLR 希望能为深度学习提供一个专业化的交流平台。但实际上 ICLR 不同于其它国际会议,得到好评的真正原因,并不只是他们二位所自带的名人光环,而在于它推行的 Open Review 评审制度。
小贴士
相关论文
Distillating Knowledge from Graph Convolutional Networks
Yiding Yang,Jiayan Qiu,Mingli Song,Dacheng Tao,Xinchao Wang
21+阅读 · 2020年3月23日
Question Generation by Transformers
Kettip Kriangchaivech,Artit Wangperawong
3+阅读 · 2019年9月14日
Geometric Graph Convolutional Neural Networks
Przemysław Spurek,Tomasz Danel,Jacek Tabor,Marek Śmieja,Łukasz Struski,Agnieszka Słowik,Łukasz Maziarka
8+阅读 · 2019年9月11日
Attributed Network Embedding for Incomplete Structure Information
Chengbin Hou,Shan He,Ke Tang
3+阅读 · 2018年11月28日
Mingjie Sun,Jian Tang,Huichen Li,Bo Li,Chaowei Xiao,Yao Chen,Dawn Song
4+阅读 · 2018年10月30日
Sewon Min,Minjoon Seo,Hannaneh Hajishirzi
3+阅读 · 2018年5月31日
Shaohui Kuang,Junhui Li,António Branco,Weihua Luo,Deyi Xiong
5+阅读 · 2018年5月10日
Sham Kakade,Mengdi Wang,Lin F. Yang
3+阅读 · 2018年4月25日
Yuxin Wu,Kaiming He
7+阅读 · 2018年3月22日
Sahisnu Mazumder,Nianzu Ma,Bing Liu
5+阅读 · 2018年2月16日
Top
微信扫码咨询专知VIP会员