NeurIPS直播报名 | MIT韩松团队集中分享新工作！抢占最后席位！

2020 年 11 月 30 日 将门创投

「NeurIPS 2020群星闪耀云际会·机构专场」系列活动第一弹精彩预告：MIT HAN Lab专场，如约来袭！

北京时间12月5日(周六)9:00，我“门”老朋友MIT助理教授—韩松将携手团队小伙伴MIT HAN Lab在读博士生—蔡涵、林己，台湾大学博士、MIT HAN Lab准博后— 陈威铭 ，及 清华大学&MIT HAN Lab访问学生— 赵晟宇 与大家相约线上云端相见，分享他们在NeurIPS 2020中的精彩工作。

活动详情及报名方式请往下滑~

其他机构专场也在火热报名中哦~

点击报名：北大相机智能实验室专场

点击报名：MSRA 深度和强化学习组

点击报名：MSRA 视觉计算组

一张图告诉你

活动信息

▼

长按下图二维码即可报名

嘉宾介绍

▼

韩松

# MIT 助理教授

韩松，麻省理工电子工程和计算机科学系助理教授，在斯坦福大学获得博士学位，研究重点是高效的深度学习计算。他提出的深度压缩技术可以在不损失神经网络精度的前提下大幅缩小网络的模型参数，并且在硬件实现的高效推理引擎中首次探索了模型剪枝和参数稀疏化在深度学习加速器中的应用。

韩松曾获ICLR' 16和FPGA' 17最佳论文奖，亚马逊机器学习研究奖，索尼学院奖和Facebook学院奖。因其在“深度压缩”技术上的贡献，被《MIT Technology Review》评为“35岁以下的35名杰出创新者”。此外，凭“加速机器学习的高效算法和硬件”获得NSF职业奖。

近期，韩松在硬件友好神经结构搜索方面的工作得到了MIT新闻、高通新闻、VentureBeat、IEEE Spectrum的高度关注，集成于PyTorch和AutoGluon中；在flagship AI会议上获得了多项低功耗计算机视觉竞赛奖项(CVPR’19, ICCV’19和NeurIPS’19)。

个人主页：

songhan.mit.edu

蔡涵

# MIT HAN Lab

在读博士生

蔡涵，MIT二年级在读博士生师从韩松教授。他的研究方向主要包括高效深度学习(Efficient Deep Learning)及自动机器学习(AutoML)。

他开发的硬件友好(hardware-aware)自动机器学习框架(ProxylessNAS, Once-for-All)可以自动为目标硬件平台和效率约束设计专用的神经网络结构，从而大幅提升神经网络在目标硬件上的性能与效率，多次获得低功耗计算机视觉竞赛奖项(LPCV at CVPR'19, ICCV'19, NeurIPS'19)。

个人主页：

https://han-cai.github.io/

陈威铭

# 台湾大学博士，

MIT HAN Lab准博后

陈威铭，台湾大学博士，MIT HAN Lab准博后，分别于2013、2015及2020年取得台湾大学资讯工程学系学士、硕士及博士学位，目前为MIT HAN Lab的准博士后。

他的研究方向主要包括微型化机器学习 (TinyML) 及基于能源採集 (energy-harvesting) 的嵌入式系统设计。就读博士班期间，陈威铭开发出适合于间歇性运作的作业系统核心，达成系统所需的回复速度数量级上的提升，并于MIT HAN Lab访问期间设计适合于微型控制器上 (Microcontroller) 运行深度学习模型的引擎 (TinyEngine) ，相较于现有方法，能大幅减少记忆体使用并提升运行速度。

个人主页：

https://www.linkedin.com/in/meenchen/

https://scholar.google.com/citations?user=6xFvyJwAAAAJ&hl=zh-TW

林己

# MIT HAN Lab

在读博士生

林己，MIT二年级在读博士生，研究方向是高效率的深度学习算法和系统。

就读博士班期间曾开发全自动的深度模型压缩和加速方法（AMC）；曾开发针对IoT设备的微型机器学习（TinyML）方案MCUNet，极大的提升了微型设备上的深度学习效率和性能。相关工作被MIT News，MIT Tech Review，WIRED，Engadget等媒体报道。

个人主页：

http://linji.me

赵晟宇

# 清华大学&MIT HAN Lab

访问学生

赵晟宇，清华大学姚班大四本科生，曾在MIT和MSRA开展高效深度学习、生成对抗网络、光流估计和医学图像配准相关领域的研究工作。

个人主页：

https://scholar.google.com/citations?user=gLCdw70AAAAJ

NeurIPS 2020工作抢先看

▼

①

TinyTL

降低内存占用而非参数量用于高效的设备上学习

主讲人：蔡涵

针对内存资源紧张问题，设备端的高效机器学习算法所需的内存更小。目前，绝大多数工作都通过削减训练参数的途径来解决内存占用问题。

然而，由于真正的问题在于激活而不是参数量的大小，这种方式并没有直接解决内存占用问题。在这一工作中，研究人员提出了一种用于设备端学习的高内存效率算法Tiny-Transfer-Learning (TinyTL) 。

TinyTL算法冻结了网络权重，只学习内存效率高的偏置模块，所以无需存储中间的激活结果。为了保证算法的适应能力，这一工作还引入了新的内存高效偏置模块-轻量化的残差模块，该模块通过学习小的残差特征图来优化特征抽取器，增加的内存开销只占3.8%。

大量的实验显示，与对整个网络进行调优相比，TinyTL极大地节省了内存(6.5x)，同时极大地保证了精度。与最后一层的调优相比，TinyTL精度提升高达33.8%而内存开销几乎没有上升。此外，与Inception-V3完整网络调优的方式相比，结合特征抽取器的适应性的TinyTL方法可以节省7.5～12.9倍的内存而不影响精度。

论文链接：

https://arxiv.org/abs/2007.11622

项目链接：

http://tinyml.mit.edu/

②

MCUNet: 物联网设备上的微型深度学习

主讲人：陈威铭、林己

该工作提出了MCUNet，该框架可以共同设计高效的神经网络结构（TinyNAS）和轻量级推理引擎（TinyEngine），从而在微控制器上实现ImageNet规模的深度学习应用。MCUNet是第一个在现成的商用微控制器上达到70% ImageNet top-1精度的系统。在视觉和音频唤醒词任务上，MCUNet达到了最先进的精度，并且比现有解决方案运行速度快2.4-3.4倍，峰值SRAM缩小了2.2-2.6倍。该研究表明，在物联网设备上进行微型深度学习的时代已经到来。

论文链接：

https://arxiv.org/abs/2007.10319

项目链接：

tinyml.mit.edu

③

可微分数据增强：训练数据高效的生成对抗网络