新智元报道
编辑:元子
最近因为疫情,缺乏防护且人员密集的学校成为了重灾区。
国外高校在不断的爆出确诊案例,纷纷开始效仿中国学校的措施:延长假期、停课封校、直播上课。
我们中国的学生虽然占了早隔离早停课的便宜,但同时也带来了很大的问题。
相信各位在家里“上课”的同学们,应该都心知肚明。很少有人能够抵挡住缺乏学习氛围和老师监督的情况下,各种“俗事”带来的诱惑。
虽然大家嘴上都在说在哪里摔倒就在哪里睡着,然而现实的残酷并不会因为鸵鸟的脑袋埋进沙子里就会消失,相反,只会变得越来越残酷。
或许当你在家里,一边看着B站上UP主的沙雕视频、一边在微博上吐槽和家长的各种矛盾,你可能没有意识到,即使是这些沙雕UP主们,也是在用100%的努力去沙雕!
或许当几个月后疫情真的过去了,学校恢复了正常,你会突然发现和班里某些人的差距,突然一下子拉的更大了!这个时候你可能满脑袋里都是“比我聪明的人还比我更努力。”
那么,为什么不现在开始努力呢?
所以今天我们为大家带来伯克利的2020新春课程《cs294-158,深度无监督学习》。
这门课程,伯克利每年都会开设。之所以推荐,不仅仅因为是名校的经典课程,让斯坦福毕业的前谷歌大脑成员赞不绝口,更重要的是这门课程每年真的更新,教材中使用的最新的模型!
本课程将涵盖两个深度学习领域:深度生成模型和自我监督学习。
生成模型的最新进展使得可以对高维原始数据进行逼真的建模,例如自然图像,音频波形和文本语料库。从微调到看不见的任务方面,自我监督学习的步伐已开始缩小有监督表示学习与无监督表示学习之间的差距。本课程将涵盖这些主题及其新启用的应用程序的理论基础。
这门课程暂定的主题包括生成对抗网络(Generative Adversarial Networks)、变分自动编码器(Variational Autoencoders)、自回归模型(Autoregressive Models)、流模型(Flow Models)、基于能量的模型(Energy based Models)、压缩(Compression)、自监督学习(Self-supervised Learning)、半监督学习(Semi-supervised Learning)。
该课程对概率论、优化和深度学习基础有一定的要求。
暂定时间表/教学大纲
课时 | 时间 | 课程内容 |
---|---|---|
L1 | 1/22 | 简介 |
L2 | 1/29 | 自回归模型 |
L3 | 2/5 | 流量模型 |
L4 | 2/12 | 潜在变量模型 |
L5 | 2/19 | 隐式模型/生成对抗网络 |
L6 | 2/26 | 隐式模型/生成对抗网络 ctd +最终项目讨论 |
L7 | 3/11 | 自我监督学习/非生成表示学习 |
L8 | 3/18 | 迄今为止涵盖的无监督学习方法的优缺点 |
L9 | 4/1 | 半监督学习;无监督分配对齐 |
L10 | 4/8 | 压缩 |
L11 | 4/15 | 语言模型[来宾讲师:Alec Radford OpenAI ] |
4/22 | 期中 | |
L12 | 4/29 | 强化学习中的表征学习 |
5/6 | RRR周 无讲座 | |
5/13 | 最终项目演示文稿+最终项目报告 |
本课程讲师由大家熟悉的UC伯克利教授Pieter Abbeel,带领3位博士生担纲。
Pieter Abbeel是加州大学伯克利分校教授,EECS,BAIR,CHAI,师从吴恩达。
现任伯克利机器人学习实验室主任、伯克利人工智能研究(BAIR)实验室联合主任;covariant.ai联合创始人,总裁兼首席科学家、OpenAI顾问。
Pieter Abbeel
https://people.eecs.berkeley.edu/~pabbeel/
Peter Chen
http://peterchen.io/
Jonathan Ho
http://www.jonathanho.me/
Aravind Srinivas
https://people.eecs.berkeley.edu/~aravind/
课程主页:
https://sites.google.com/view/berkeley-cs294-158-sp20/