It is a popular solution to convert events into dense frame-based representations to use the well-pretrained CNNs in hand. Although with appealing performance, this line of work sacrifices the sparsity/temporal precision of events and usually necessitates heavy-weight models, thereby largely weakening the advantages and real-life application potential of event cameras. A more application-friendly way is to design deep graph models for learning sparse point-based representations from events. Yet, the efficacy of these graph models is far behind the frame-based counterpart with two key limitations: ($i$) simple graph construction strategies without carefully integrating the variant attributes (i.e., semantics, spatial and temporal coordinates) for each vertex, leading to biased graph representation; ($ii$) deficient learning because the lack of well pretraining models available. Here we solve the first problem by introducing a new event-based graph CNN (EDGCN), with a dynamic aggregation module to integrate all attributes of vertices adaptively. To alleviate the learning difficulty, we propose to leverage the dense representation counterpart of events as a cross-representation auxiliary to supply additional supervision and prior knowledge for the event graph. To this end, we form a frame-to-graph transfer learning framework with a customized hybrid distillation loss to well respect the varying cross-representation gaps across layers. Extensive experiments on multiple vision tasks validate the effectiveness and high generalization ability of our proposed model and distillation strategy (Core components of our codes are submitted with supplementary material and will be made publicly available upon acceptance)


翻译:将事件转换成密集的基于框架的表达方式是流行的解决办法,即将事件转换成密集的基于框架的表达方式,以便使用训练有素的CNN手头的有线电视新闻网。尽管工作方式很有吸引力,但它牺牲了每个顶端的变异属性(即语义、空间和时间坐标),导致偏差的图表代表;由于缺少良好的培训模式,因此通常需要超重模型,从而大大削弱事件相机的优势和实际应用潜力。一个更有利于应用的方法是设计深图模型,以了解事件中少有的基于点的表达方式。然而,这些图形模型的功效远远落后于基于框架的对应方,有两个主要的局限性:即(美元)简单的图形构建战略,而没有仔细整合每个顶端的变异属性(即语义、时空坐标、时空坐标坐标),导致偏差的图像表达; (二)由于缺少良好的培训前模型,学习不足,因此在这里,我们用一个基于新事件的图的组合组合组合模式整合模式,将一个我们现有的跨度、跨度的跨度的跨度、跨度、跨度的模型化框架,将一个我们提出的跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度的学习框架、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度、跨度

0
下载
关闭预览

相关内容

【2022新书】高效深度学习,Efficient Deep Learning Book
专知会员服务
118+阅读 · 2022年4月21日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
VIP会员
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员