NeurIPS 2021教程|OpenAI-Lilian Weng等：自监督学习与对比学习，105页ppt，

【导读】NeurIPS，全称神经信息处理系统大会（Conference and Workshop on Neural Information Processing Systems），作为关于机器学习和计算神经科学的国际会议，每年固定在12月举行，由NIPS基金会主办。NeurIPS是机器学习领域的顶级会议 ，是神经计算方面最好的会议之一 。在中国计算机学会的国际学术会议排名中，NeurIPS为人工智能领域的A类会议。NeurIPS 2021于12月6日-12月14日在加拿大蒙特利尔采用线上线下结合的方式举办。

来自OpenAI的研究人员Lilian Weng和Jong Wook Kim对自监督学习做了最新的报告，非常值得关注。

Lilian Weng现为OpenAI应用人工智能研究负责人，主要从事机器学习、深度学习和网络科学研究 。她本科毕业于香港大学，硕士就读于北京大学信息系统与计算机科学系，之后前往印度安纳大学布鲁顿分校攻读博士。

Lilian Weng经常在个人博客分享学习和工作笔记，感兴趣的可以戳这里： https://lilianweng.github.io/lil-log/。

Jong Wook Kim，OpenAI研究技术人员，参与Jukebox和CLIP这样的项目。研究兴趣包括大规模多模态深度学习和音乐理解。

自监督学习：自预测与对比学习

自监督学习是一种很好的方法，可以从大量的未标记数据中提取训练信号，并学习良好的表示，以方便下游的任务，在这些任务中收集特定于任务的标签非常昂贵。本教程将着重介绍自监督学习的两种主要方法:自预测和对比学习。自预测是指自监督的训练任务，在这种训练任务中，模型学会从剩余数据中预测一部分可用数据。对比学习是通过从数据集构造相似和不同的对，来学习一个相似数据样本保持相近而不同数据样本相距较远的表示空间。本教程将涵盖这两个主题和跨各种应用程序的方法，包括视觉、语言、视频、多模态和强化学习。

https://nips.cc/Conferences/2021/Schedule?showEvent=21895

● 导论 Introduction: motivation, basic concepts, examples.

● 早期工作 Early work: look into connection with old methods.

● 方法 Methods

○ Self-prediction 

○ Contrastive Learning

● 前置任务 Pretext tasks: a wide range of literature review.

● 技术 Techniques: improve training efficiency.

● 未来方向 Future directions