Several applications such as autonomous driving, augmented reality and virtual reality requires a precise prediction of the 3D human pose. Recently, a new problem was introduced in the field to predict the 3D human poses from an observed 2D poses. We propose Skeleton-Graph, a deep spatio-temporal graph CNN model that predicts the future 3D skeleton poses in a single pass from the 2D ones. Unlike prior works, Skeleton-Graph focuses on modeling the interaction between the skeleton joints by exploiting their spatial configuration. This is being achieved by formulating the problem as a graph structure while learning a suitable graph adjacency kernel. By the design, Skeleton-Graph predicts the future 3D poses without divergence on the long-term unlike prior works. We also introduce a new metric that measures the divergence of predictions on the long-term. Our results show an FDE improvement of at least 27% and an ADE of 4% on both the GTA-IM and PROX datasets respectively in comparison with prior works. Also, we are 88% and 93% less divergence on the long-term motion prediction in comparison with prior works on both GTA-IM and PROX datasets. https://github.com/abduallahmohamed/Skeleton-Graph.git


翻译:自主驱动、 增强现实和虚拟现实等几个应用程序需要精确预测 3D 人形。 最近, 实地出现了一个新问题, 以预测观察到的 2D 外表的 3D 人形。 我们提出Skeleton- Graph, 这是一种远方平面图 CNN 模型, 预测未来 3D 骨架在与 2D 相隔的单一通道中形成。 不同于先前的工程, Skeleton- graph 侧重于通过利用其空间配置来模拟骨干关节之间的相互作用。 这是通过将问题作为图表结构来表述,同时学习适当的图形相邻内核。 根据设计, Skeleton- Graph 预测未来 3D 与先前的工程不同, 未来 3D 与以往的工程没有差异。 我们还引入了一个新的衡量长期预测差异的尺度。 我们的结果表明, GTA-IM- IM / PROAmbhed 数据集的改善率至少为 27%, 与 4% 。 另外, 与之前的工作相比, 在长期 IM/ PROABS/ GRAMS) 。

0
下载
关闭预览

相关内容

因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
开源书:PyTorch深度学习起步
专知会员服务
49+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
【泡泡一分钟】基于3D激光雷达地图的立体相机定位
泡泡机器人SLAM
4+阅读 · 2019年1月14日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
计算机视觉领域顶会CVPR 2018 接受论文列表
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
深度学习(Deep Learning)发展史
Linux中国
6+阅读 · 2017年8月2日
Object DGCNN: 3D Object Detection using Dynamic Graphs
Arxiv
8+阅读 · 2021年10月13日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
【泡泡一分钟】基于3D激光雷达地图的立体相机定位
泡泡机器人SLAM
4+阅读 · 2019年1月14日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
计算机视觉领域顶会CVPR 2018 接受论文列表
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
深度学习(Deep Learning)发展史
Linux中国
6+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员