【预告】CSIG交通视频专委会“学术新星”将于4月27日在线举办

会员服务 ·

【预告】CSIG交通视频专委会“学术新星”将于4月27日在线举办

2022 年 4 月 25 日 中国图象图形学学会CSIG

举办单位

主办单位：中国图象图形学学会

承办单位：CSIG交通视频专委会

会议安排

会议时间：2022年4月27日15:00-16:15

会议形式：腾讯会议（会议号：843-572-230）

会议议程

报告人简介

周勤勤

报告题目：面向Transformer的Training-free结构搜索算法研究

报告摘要：近期，ViT 在计算机视觉领域展现了出强大的竞争力、在多个任务里取得了惊人的进展。随着许多人工设计的 ViT 结构（如Swin-Transformer、PVT、XCiT 等）的出现，面向 ViT 的结构搜索（TAS) 开始受到越来越多的关注。TAS 旨在以自动化的方式在 ViT 搜索空间（如MSA 的 head 数量、channel ratio 等）中找到更优的网络结构。基于 One-shot NAS 的方案（如AutoFormer、GLiT 等）已经取得了初步进展，但他们仍然需要很高的计算成本（如24 GPU days 以上）。为了提高对ViT结构搜索的效率，我们对 MSA 和 MLP 模块进行了理论分析，希望找到某种低成本可量化的属性来有效地评估 ViT 结构。本报告首先对最新的ViT结构搜索算法以及源于剪枝领域中的零代价代理指标进行介绍，然后从ViT结构中包含的MSA 和 MLP 模块所具有的特点出发，探索一个有效且高效的零代价代理评估指标 DSS-indicator，并基于此设计了一个面向Transformer的training-free 结构搜索算法。最后在两个不同的ViT搜索空间上通过多项实验验证了方法的有效性。

个人简介：周勤勤，厦门大学信息学院博士生，师从纪荣嵘教授。研究方向为自动机器学习，网络结构搜索。目前在CVPR, ICCV会议以第一作者发表多篇论文。

龚睿昊

报告题目：工业级模型量化技术体系：算法+工具规模化落地之路

报告摘要：模型轻量化成为深度学习应用的必经一步，学术界的很多研究更注重精度提升，对实际加速效果缺乏关注。本分享将介绍如何结合工业界生产中的关键问题，进行模型量化算法和工具上的创新，以实现效果和效率的双重提升。

个人简介： 龚睿昊商汤科技模型工具链团队高级研究员。负责模型压缩技术体系，通过算法和工具实现规模化工业落地，支持智慧城市、智能驾驶、AIOT、手机场景等大量业务模型的轻量化生产。致力于ML+System的综合效率提升，在ICLR、NeuIPS、CVPR、ICCV等期刊会议发表十余篇论文。

陈彦骐

报告题目：生物启发的脉冲神经网络剪枝技术研究

报告摘要：脉冲神经网络(Spiking Neural Networks, SNNs)在近几年受到了重大关注，这可以归因于其良好的生物合理性与在神经形态芯片上部署时的高能效。而这些芯片往往是资源受限的，因此往往不能直接将训练好的网络进行部署。这就使得以剪枝为代表的一系列SNN压缩技术对于SNN走向实用之路变得至关重要。受真实的大脑中突触生长与消亡现象的启发，我们设计了一种称为“梯度重布线算法”(Gradient Rewiring, Grad R)的SNN剪枝算法。通过将SNN的连接模式与网络权重的学习统一起来，Grad R可以以一种不需要重训练的模式，在优化网络的时候同时达到稀疏化权重的目标。我们提出的算法，在多个图像识别的数据集上获得了获得了最低的分类性能损失，这不仅揭示了我们的算法在不增加额外训练轮数的情况下有能力提取出精简的SNN的网络结构，还表明了目前的SNN存在巨大的参数冗余。

个人简介： 陈彦骐，北京大学计算机学院博士生，师从田永鸿教授。研究方向为脉冲神经网络，网络剪枝。目前在IJCAI会议以第一作者发表过论文。

主持人简介

郑侠武

个人简介： 郑侠武，博士后，鹏城实验室。研究兴趣为自动化机器学习、模型压缩。已发表重要期刊论文4篇（TPAMI论文2篇，IJCV论文1篇，IEEE汇刊1篇，其中两篇TPAMI论文均为一作），中国计算机学会推荐A类国际会议长文8篇（一作/通讯论文4篇）。成果获规模应用，参与与腾讯、华为、滴滴三家公司技术开发项目总额超一千万。本人多次组织团队参加人工智能领域国际竞赛包括：（a）ECML 2019上的AutoCV2竞赛盲测总分第二，公开数据集总分第一，视频类数据集总分第一（b）NeurlPS 2020上的AutoDL竞赛公开数据集总分第一名，以及图像、语音、自然语言、表格数据四个单项第一。

来源：CSIG交通视频专委会