今晚,圆桌讨论Transformer跨界CV任务

2021 年 3 月 25 日 机器之心

自2017 年 6 月谷歌发布论文《Attention is All You Need》后,Transformer架构为整个NLP领域带来了极大的惊喜。

随着技术的发展,Transformer 不仅成为自然语言处理领域的主流模型,还开始了向其他领域的跨界。

特别是在近几个月,Transformer 开始大量应用于计算机视觉领域的研究,甚至有取代卷积网络的趋势。2020 年 5 月,Facebook AI 实验室推出Detection Transformer(DETR),用于目标检测和全景分割。这是第一个将 Transformer 成功整合为检测 pipeline 中心构建块的目标检测框架, 在大型目标上的检测性能要优于 Faster R-CNN。2020 年 10 月,谷歌提出了
Vision Transformer (ViT),可以直接利用 transformer 对图像进行分类,而不需要卷积网络。ViT 模型取得了与当前最优卷积网络相媲美的结果,但其训练所需的计算资源大大减少。

而后,Transformer在图像合成、点云处理、视觉 - 语言建模等领域的研究如雨后春笋般喷涌而出。由此,「Transformer 是万能的吗?」成为了近期机器学习社区的热门话题。甚至不久之前,谷歌大脑研究员 David Ha 发推表示:
Transformer 是新的 LSTM

为了方便读者们了解Transformer在CV领域的前沿研究,为大家提供更多洞见。机器之心策划了「Transformer is all you need?」线上圆桌主题活动,邀请业内做Transformer CV研究的学者们一起讨论相关话题。

本活动主要分为三个环节:每位嘉宾10分钟的研究介绍,40分钟的圆桌讨论以及20分钟在线答疑。


嘉宾简介

翟晓华,ViT共同一作,现任瑞士苏黎世谷歌大脑团队Staff Researcher,研究方向为特征学习、深度学习、人工智能。他于2014年在北京大学王选计算机研究所获得博士学位。他负责的大规模迁移学习算法「Big Transfer (BiT)」基于亿级规模图像数据来训练模型,在超过二十个视觉任务上取得了很好的效果;作为共同一作,他提出的「Vision Transformer (ViT)」将Transformer模型应用于图像识别,利用更少的计算资源取得了与计算机视觉领域的主流模型CNN相当的效果,该工作已被多家媒体报导(包括美国《财富》杂志、机器之心等);这两个特征学习项目及模型已开源,在GitHub上共获得3000个星标。他提出的「S4L」学习框架将自监督学习应用于半监督学习,该思想已被自监督学习领域广泛采纳和应用。他是「Compare GANs」项目的主要贡献者,在Github上获得1700个星标。他共同创建了「The Visual Task Adaptation Benchmark (VTAB)」项目,这是一个多样、真实、具有挑战性的评测基准,用于评测未见任务小样本条件下的特征学习,包括生成式模型、自监督学习、半监督学习和监督学习。

他发表了多篇国际顶级期刊和会议论文,包括ICLR、ICML、CVPR、ICCV、ECCV、AAAI和IEEE TCSVT。2012年作为彭宇新教授团队的核心成员参加由美国国家标准技术局(NIST)举办的TRECVID中的INS比赛,并获得国际第一名。他是IEEE TPAMI、TIP、TMM、ICLR、ICML、CVPR、ECCV、ICCV、AAAI和ACM MM等国际顶级期刊和会议的审稿人。


  • ViT论文:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

  • 链接:https://arxiv.org/abs/2010.11929


王云鹤,IPT和TNT作者,2018年于北京大学智能科学系博士毕业,加入华为诺亚方舟实验室,负责能耗高效的计算机视觉算法的研发以及前沿算法的探索。至今共发表学术论文50余篇,包含TPAMI、NeurIPS、ICML、SIGKDD、CVPR、ICCV等。多项技术应用在华为产品中。

  • IPT论文:Pre-Trained Image Processing Transformer

  • 链接:https://arxiv.org/pdf/2012.00364.pdf

  • TNT论文:Transformer in Transformer

  • 链接:https://arxiv.org/pdf/2103.00112.pdf


朱锡洲,D-DETR作者,商汤研究院高级研究员。2020年,朱锡洲在中科大郭百宁教授和王永教授的指导下获得博士学位。在此期间,他参与了中科大与微软亚研院的联合博士培养计划。他目前的研究重点是面向高级视觉的深度学习,尤其是语义分割和目标检测。

  • D-DETR论文:Deformable DETR: Deformable Transformers for End-to-End Object Detection

  • 链接:https://arxiv.org/abs/2010.04159


时间与流程

时间:北京时间3月25日19:30-21:00


  • 19:30-19:40,翟晓华介绍ViT;

  • 19:40-19:50,王云鹤介绍IPT、TNT;

  • 19:50-20:00,朱锡洲介绍D-DETR;

  • 20:00-20:40,圆桌讨论,主持人:机器之心;

  • 20:40-21:00,观众 QA。


直播间: https://jmq.h5.xeknow.com/s/2gqDz9

直播群:识别下方二维码,即可加入本次直播交流群。


如群已超出人数限制,添加机器之心小助手:syncedai2、syncedai3、syncedai4或syncedai6,或将微信ID发送至邮箱shidongle@jiqizhixin.com,备注「圆桌」即可加入。

点击 阅读原文 ,收藏直播间。
登录查看更多
0

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
44+阅读 · 2021年6月1日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
36+阅读 · 2021年4月16日
【AAAI2021】预训练语言模型最新进展,附113页ppt和视频
专知会员服务
64+阅读 · 2021年2月23日
Transformer替代CNN?8篇论文概述最新进展!
专知会员服务
75+阅读 · 2021年1月19日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
102+阅读 · 2020年8月30日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
「紫禁之巅」四大图神经网络架构
图与推荐
3+阅读 · 2020年3月22日
20项任务全面碾压BERT,全新XLNet预训练模型
机器学习算法与Python学习
15+阅读 · 2019年6月20日
一文看尽2018全年计算机视觉大突破
人工智能前沿讲习班
8+阅读 · 2019年1月4日
Papers With Code:一文看尽深度学习这半年
极市平台
61+阅读 · 2018年12月3日
老铁,邀请你来免费学习人工智能!!!
算法与数学之美
3+阅读 · 2017年11月13日
计算机视觉专题分享总结(附PPT)
机器学习读书会
42+阅读 · 2017年7月6日
Arxiv
1+阅读 · 2021年6月11日
Arxiv
103+阅读 · 2021年6月8日
Arxiv
1+阅读 · 2021年6月6日
Arxiv
0+阅读 · 2021年5月28日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
23+阅读 · 2020年9月16日
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
Arxiv
6+阅读 · 2018年7月12日
VIP会员
相关VIP内容
专知会员服务
44+阅读 · 2021年6月1日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
36+阅读 · 2021年4月16日
【AAAI2021】预训练语言模型最新进展,附113页ppt和视频
专知会员服务
64+阅读 · 2021年2月23日
Transformer替代CNN?8篇论文概述最新进展!
专知会员服务
75+阅读 · 2021年1月19日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
102+阅读 · 2020年8月30日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
相关资讯
「紫禁之巅」四大图神经网络架构
图与推荐
3+阅读 · 2020年3月22日
20项任务全面碾压BERT,全新XLNet预训练模型
机器学习算法与Python学习
15+阅读 · 2019年6月20日
一文看尽2018全年计算机视觉大突破
人工智能前沿讲习班
8+阅读 · 2019年1月4日
Papers With Code:一文看尽深度学习这半年
极市平台
61+阅读 · 2018年12月3日
老铁,邀请你来免费学习人工智能!!!
算法与数学之美
3+阅读 · 2017年11月13日
计算机视觉专题分享总结(附PPT)
机器学习读书会
42+阅读 · 2017年7月6日
相关论文
Arxiv
1+阅读 · 2021年6月11日
Arxiv
103+阅读 · 2021年6月8日
Arxiv
1+阅读 · 2021年6月6日
Arxiv
0+阅读 · 2021年5月28日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
23+阅读 · 2020年9月16日
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
Arxiv
6+阅读 · 2018年7月12日
Top
微信扫码咨询专知VIP会员