Reddit最火!55页博士笔记总结ICLR 2019大会干货

2019 年 5 月 11 日 GAN生成式对抗网络

来源:新智元

【导读】ICLR 2019共收到1591篇论文,录取率为31.7%。这篇55页、由布朗大学博士四年级学生David Abel总结整理的ICLR 2019参会Highlights笔记,提炼了演讲和会谈亮点,通篇干货!

作为今年上半年表现最为亮眼的人工智能顶会,ICLR 2019于5月6日至9日在美国新奥尔良举行。本届投稿比去年增长了近60%,共收到1591篇,录取率为31.7%。

与往年一样,本次大会每天分上午下午两场。每场形式基本一样,先是邀请演讲(invited talk),然后是讨论,也就是被选为能够进行口头发表(Oral)的论文、茶歇、海报展示(poster)。

邀请演讲列表:


8个邀请演讲主题:

  1. Cynthia Dwork:算法公平性的进展

  2. Leon Bottou:Learning Representations Using Causal Invariance

  3. Emily Shuckburgh:机器学习能否有助于地球健康的检查

  4. Ian Goodfellow:对抗机器学习

  5. Pierre-Yves Oudeyer:发展自主学习:人工智能,认知科学和教育技术

  6. Zeynep Tufekci:虽然我们都担心机器学习的失败,但如果它成功了,潜伏着什么危险?

  7. Mirella Lapata:用神经模型学习自然语言界面

  8. Noah Goodman:在上下文中学习语言

Criteo AI Lab给出的ICLR 2019提交的研究课题热度:

今天,人工智能领域最为重要的学术会议之一IJCAI也公布了最终论文接收结果。IJCAI 2019共收到有效提交论文4752篇,比去年多了近1300篇,接收850篇,接受率为17.9%,相比去年有所下降。主办方感慨今年论文提交数量确实多:



论文收录结果出炉后,被收录的自然纷纷晒出自己的收录通知;而另一边,落选者也表达了自己的遗憾之情。

那么ICLR 2019会场都有谁上台演讲了?他们都讲了什么?下面新智元为大家带来一份55页的ICLR 2019会议的Highlights笔记,由布朗大学博士四年级学生David Abel总结整理,通篇干货。

David个人主页:

https://david-abel.github.io/

这份笔记共分为3个部分,首先简单介绍了大会的亮点;接着介绍了第一天的算法公平性演讲和一些Workshop;后面主会部分提炼了部分演讲和会谈的亮点。

ICLR亮点:深度学习局限引争论,元学习、图神经网络最热门


最近围绕Rich Sutton的一篇《痛苦的教训》引发很多讨论,也在本次会议上进行了辩论。SPiRL研讨会2的小组讨论也有很多关于这个主题的见解,SPiRL研讨会非常出色。演讲者阵容,演讲和小组都很特别。


比较热门的话题有元学习,非常受欢迎,特别是meta RL;还有图神经网络。


David表示笔记中涉及到的演讲都是他最喜欢的,并特别提出了在RL中学习抽象/层次结构的一些非常好的论文,包括Nachum等人的“Near-Optimal Representation Learning for Hierarchical Reinforcement Learning”;Levy等人的“Learning Multi-Level Hierarchies with Hindsight”;Koul等人的“Learning Finite State Representations of Recurrent Policy Networks”。

下面新智元为大家介绍其中部分Keynote内容,文末负有完整笔记PDF文档供大家下载。

主旨演讲1:当前算法公平性的进展

算法公平性的议题早在9年前就被提出来了,今年是微软杰出科学家Cynthia Dwork在这个领域持续研究的第八年。她观察发现,算法对我们某些经历的控制越来越严重,比如我们网上观看的广告、申请贷款的资质、选择大学等等。如此一来,算法的公平性就显得尤为重要,尤其是对算法越来越依赖的今天。


在Keynote中,Cynthia Dwork提出两个观点:


  1. 算方是不公平的,数据不具备代表性,标签会体现出偏见

  2. 算法能够对我们的生活起到非常大的改变。举例:

    • 房屋按揭条款

    • 拘留/释放

    • 药物和健康

    • 决定一个孩子是否被从家中送走


很多论文都提到被上述例子震惊到:没想到算法对我们的影响如此之大。

接着Dwork给出了算法公平性需要满足两个定义,首先是群体公平性;其次是个体公平性。


什么是群体公平性呢?举个例子,学生入学的资格应该是平等的;或者,优秀班级和差的班级应该达成一种平衡。


个体公平性指的是在给定的分类任务方面,相似的人应该得到类似的对待。


Dwork提出实现算法公平性的几点尝试,例如可以通过汇总从少数代表获得的近似值来实现视差,弥合群体与个人公平性之间代沟等。

主旨演讲2:利用机器学习对地球健康进行检查


气候学家Emily Shuckburgh提到,地球上二氧化碳浓度增长迅猛。

最近一项关于生物多样性的研究表示,在接下来的几十年中,将会有100万种物种面临灭绝的危险。那么机器学习在地球健康检查中,能够起到哪些作用呢?


Emily Shuckburgh指出,我们现在迫切需要了解有关气候风险的可操作信息,以及从自然灾害(例如洪水、干旱等)、生物多样性变化导致的影响、生物链和自然世界(例如珊瑚礁,森林,北极海冰,永久冻土等)中发现潜在的风险和结果。


目前在地球气候变化方面,我们有大量可用数据,包括来自卫星、水下探测机器人设备、探测器网络、电脑的模拟环境以及众包。这些数据的数量,远远超出了我们人类的处理能力。


Emily Shuckburgh认为机器学习可以在从3个方面提供行星健康检查,分别是:对行星进行监控、找出症结并进行治疗。


主旨演讲3:利用AI研究儿童学习行为


法国国家信息与自动化研究所(Inria)的AI研究员Pierre-Yves Oudeyer提到,孩子是非凡的学习者!不需要工程师监督他们,手动调整他们的学习算法和环境的每个方面。


儿童行为的研究,可以为以下3个领域提供指导:


  1. 认知科学:理解人类发展和学习

  2. 机器人:终身和自主学习的新理论

  3. 在教育技术中的应用


Oudeyer举了3个例子:


  1. 在机器人中设计运动和感知原始物的形态学,身体生长和成熟的研究

  2. 考虑语言习得,例如孩子们可以很快学会新语言

  3. 内在动机,游戏和好奇心


主旨演讲4:机器学习威胁论


科技社会学家Zeynep Tufekci提到科学是一把双刃剑,比如很多人从小想当物理学家,结果许多物理学家遇到了核武器的问题,科学领域进步面临大规模道德问题。


最近在欧洲核子研究中心,700人担心如何分配诺贝尔奖;与此同时在计算机科学领域,我们担心我们的工具会对社会、安全、劳动力、气候、社会基础设施等的影响。


Tufekci提到,我们是这个世界的一部分,我们开发出来的工具也是,而这些工具也不一定会按照我们希望的方式被使用,它可以向善也可以为恶。我们需要担心的是:如果机器学习有效,我们该怎么办?我们给了这个世界什么?

完整笔记下载:

https://david-abel.github.io/notes/iclr_2019.pdf


高质量延伸阅读

☞ OpenPV平台发布在线的ParallelEye视觉任务挑战赛

【学界】第1届“智能车辆中的平行视觉”研讨会成功举行

【学界】生成式对抗网络:从生成数据到创造智能

【学界】OpenPV:中科院研究人员建立开源的平行视觉研究平台

【学界】基于平行视觉的特定场景下行人检测

【学界】ParallelEye:面向交通视觉研究构建的大规模虚拟图像集

【CFP】Virtual Images for Visual Artificial Intelligence

【最详尽的GAN介绍】王飞跃等:生成式对抗网络 GAN 的研究进展与展望

【智能自动化学科前沿讲习班第1期】王飞跃教授:生成式对抗网络GAN的研究进展与展望

【智能自动化学科前沿讲习班第1期】王坤峰副研究员:GAN与平行视觉

【重磅】平行将成为一种常态:从SimGAN获得CVPR 2017最佳论文奖说起

【平行讲坛】平行图像:图像生成的一个新型理论框架

【学界】基于生成对抗网络的低秩图像生成方法

【学界】Ian Goodfellow等人提出对抗重编程,让神经网络执行其他任务

【学界】六种GAN评估指标的综合评估实验,迈向定量评估GAN的重要一步

【资源】T2T:利用StackGAN和ProGAN从文本生成人脸

【学界】 CVPR 2018最佳论文作者亲笔解读:研究视觉任务关联性的Taskonomy

【业界】英特尔OpenVINO™工具包为创新智能视觉提供更多可能

【学界】ECCV 2018: 对抗深度学习: 鱼 (模型准确性) 与熊掌 (模型鲁棒性) 能否兼得 

【学界】何恺明组又出神作!最新论文提出全景分割新方法


登录查看更多
0

相关内容

【MIT-ICML2020】图神经网络的泛化与表示的局限
专知会员服务
42+阅读 · 2020年6月23日
还在修改博士论文?这份《博士论文写作技巧》为你指南
【芝加哥大学】可变形的风格转移,Deformable Style Transfer
专知会员服务
30+阅读 · 2020年3月26日
MIT公开课-Vivienne Sze教授《深度学习硬件加速器》,86页ppt
AAAI2020接受论文列表,1591篇论文目录全集
专知会员服务
98+阅读 · 2020年1月12日
CMU博士论文:可微优化机器学习建模
专知会员服务
58+阅读 · 2019年10月26日
ICML 2019必看!87页超强干货博士笔记总结
新智元
35+阅读 · 2019年6月17日
没空去开会?ICML2018会议笔记了解一下
专知
3+阅读 · 2018年7月19日
一份AI博士生的ICML2018“学霸”笔记(55页)
大数据文摘
21+阅读 · 2018年7月17日
已删除
Arxiv
32+阅读 · 2020年3月23日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Arxiv
17+阅读 · 2019年3月28日
Arxiv
7+阅读 · 2018年3月22日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员