Exploiting relations among 2D joints plays a crucial role yet remains semi-developed in 2D-to-3D pose estimation. To alleviate this issue, we propose GraFormer, a novel transformer architecture combined with graph convolution for 3D pose estimation. The proposed GraFormer comprises two repeatedly stacked core modules, GraAttention and ChebGConv block. GraAttention enables all 2D joints to interact in global receptive field without weakening the graph structure information of joints, which introduces vital features for later modules. Unlike vanilla graph convolutions that only model the apparent relationship of joints, ChebGConv block enables 2D joints to interact in the high-order sphere, which formulates their hidden implicit relations. We empirically show the superiority of GraFormer through conducting extensive experiments across popular benchmarks. Specifically, GraFormer outperforms state of the art on Human3.6M dataset while using 18$\%$ parameters. The code is available at https://github.com/Graformer/GraFormer .


翻译:开发 2D 连接点之间的关系具有关键作用, 但是在 2D 至 3D 构成的估测中仍然半开发 。 为了缓解这个问题, 我们提议GraFormer, 这是一种新型变压器结构, 结合3D 构成的图变。 提议的 GraFormer 由两个反复堆叠的核心模块组成 : GraAtention 和 ChebG Conv 区块 。 GraAtention 使所有 2D 连接都能够在全球可接收的域中互动, 而不会削弱连接点的图形结构信息, 它为以后的模块引入了关键特性 。 不像香草 图形相配方, ChebG Conv 区让 2D 联合点能够在高端领域互动, 形成它们隐藏的隐含关系 。 我们通过在经验上展示Graformer 的优势, 通过在大众基准中进行广泛的实验 。 具体而言, GraFormer 超越了人类 3.6M 数据集的艺术状态, 同时使用 18 $ 参数 。 该代码可在 http://github.com/ Grafren/ Graformer 。

1
下载
关闭预览

相关内容

专知会员服务
22+阅读 · 2021年9月20日
【AAAI2021】可解释图胶囊网络物体检测
专知会员服务
27+阅读 · 2021年1月4日
【AAAI2021】记忆门控循环网络
专知会员服务
48+阅读 · 2020年12月28日
专知会员服务
60+阅读 · 2020年3月19日
专知会员服务
109+阅读 · 2020年3月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
视频理解 S3D,I3D-GCN,SlowFastNet, LFB
极市平台
7+阅读 · 2019年1月31日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年11月7日
Factor Graph Attention
Arxiv
6+阅读 · 2019年4月11日
Arxiv
12+阅读 · 2019年1月24日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关VIP内容
专知会员服务
22+阅读 · 2021年9月20日
【AAAI2021】可解释图胶囊网络物体检测
专知会员服务
27+阅读 · 2021年1月4日
【AAAI2021】记忆门控循环网络
专知会员服务
48+阅读 · 2020年12月28日
专知会员服务
60+阅读 · 2020年3月19日
专知会员服务
109+阅读 · 2020年3月12日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
视频理解 S3D,I3D-GCN,SlowFastNet, LFB
极市平台
7+阅读 · 2019年1月31日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员