大讲堂 | 稀疏流形变换 & 基于最大熵的CTC改进算法

第 一 场

分享主题

稀疏流形变换 （The Sparse Manifold Transform）

 

分享背景

稀疏编码 (Sparse Coding)，流形学习 (Manifold Learning) 是早期两种非常重要的非监督学习方法，在神经科学，机器学习及数据可视化等方面都取得了相当的成功。讲者认为，稀疏编码从本质上刻画自然信号中的低维离散性，而流形学习则刻画的是自然信号中的低维连续性。在本次公开课上，讲者将介绍这两种模型中的重要联系，进而讨论讲者发表在NeurIPS 2018的文章稀疏流形变换（The Sparse Manifold Transform），首次尝试将这两种模型融合所建立的一套新的非监督特征学习框架。

分享嘉宾

陈羽北，UC Berkeley AI Research (BAIR) 博士在读。2012年本科毕业于清华大学电子工程系，毕业后就读于加州大学伯克利分校电子工程与计算机系，并获得数学系硕士双学位，目前在导师Bruno Olshausen教授指导下研究非监督稀疏特征学习研究。

 

分享提纲

• 稀疏编码特征提取

• 流形学习及非线性降维

• 稀疏流形变换

• 探讨与结论

分享时间

（北京时间）2018 年12 月 29 日 上午10:00

错过直播不要紧，回放视频上传后也能看哦~

直播链接

http://www.mooc.ai/open/course/623

第 二 场

分享主题

基于最大熵的CTC改进算法

 

分享背景

该工作是我们在NIPS2018上的一篇文章(Spotlight)。

Connectionist Temporal Classification(CTC) 是一种广泛应用于优化序列识别问题的损失函数。结合 RNN/LSTM 等结构，目前 CTC 已经成为语音识别、 光学字符识别、手势识别等领域的主流框架之一。然而 CTC 的训练过程存在一些缺陷，导致它比较容易过拟合，并经常倾向于输出过度自信、呈尖峰分布的预测结果。本次公开课将首先回顾 CTC 算法，指出它在训练过程中的缺陷，并结合最大熵从两个不同的角度为它提出改进。

Paper link:

http://papers.nips.cc/paper/7363-connectionist-temporal-classification-with-maximum-entropy-regularization

Code link:

 https://github.com/liuhu-bigeye/enctc.crnn

分享嘉宾

刘鹄，清华大学自动化系硕士，目前就职于京东，主要研究搜索广告的排序模型。硕士期间导师是张长水教授，主要研究方向为序列识别、视频识别。工作曾在CVPR，NIPS等顶级会议上发表。

 

分享提纲

• 一些常见的问题

• CTC算法简介

• CTC的缺陷

• 改进算法1：基于最大熵的CTC正则
  

• 改进算法2：基于等间距的CTC变形
  

• 实验验证与结果分析
  

分享时间

（北京时间）2018 年12 月 29 日 20:00

错过直播不要紧，回放视频上传后也能看哦~

直播链接

http://www.mooc.ai/open/course/621

附：Momenta 精英实习项目全球热招中，点击图片了解详情，让你的成长火力全开！

想了解更多 AI 研习社直播？

欢迎点击“阅读原文”

或者移步 AI 研习社社区~