We study the problem of efficiently summarizing a short video into several keyframes, leveraging recent progress in fast graph sampling. Specifically, we first construct a similarity path graph (SPG) $\mathcal{G}$, represented by graph Laplacian matrix $\mathbf{L}$, where the similarities between adjacent frames are encoded as positive edge weights. We show that maximizing the smallest eigenvalue $\lambda_{\min}(\mathbf{B})$ of a coefficient matrix $\mathbf{B} = \text{diag}(\mathbf{a}) + \mu \mathbf{L}$, where $\mathbf{a}$ is the binary keyframe selection vector, is equivalent to minimizing a worst-case signal reconstruction error. We prove that, after partitioning $\mathcal{G}$ into $Q$ sub-graphs $\{\mathcal{G}^q\}^Q_{q=1}$, the smallest Gershgorin circle theorem (GCT) lower bound of $Q$ corresponding coefficient matrices -- $\min_q \lambda^-_{\min}(\mathbf{B}^q)$ -- is a lower bound for $\lambda_{\min}(\mathbf{B})$. This inspires a fast graph sampling algorithm to iteratively partition $\mathcal{G}$ into $Q$ sub-graphs using $Q$ samples (keyframes), while maximizing $\lambda^-_{\min}(\mathbf{B}^q)$ for each sub-graph $\mathcal{G}^q$. Experimental results show that our algorithm achieves comparable video summarization performance as state-of-the-art methods, at a substantially reduced complexity.


翻译:我们研究如何将一个短视频有效地归纳为几个键盘, 利用快速图形取样的最新进展。 具体地说, 我们首先构建一个相似路径图( SPG) $\ mathcal{ G} $, 以图形 Laplacian 矩阵表示 $\ mathbf{ L} $, 相邻框之间的相似点被编码为正边边距重量。 我们显示, 将最小的egenval $\ lambda} (mathb{B}) $( mathb{ B} ) 最大化一个系数基数( $\ massb} 美元, = textleg $( mark_ b) 基数最小的 Gergorin $_ gal_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ groups a ma_ ma_ lax ma_ max ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ rmalma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma) ma_ max_ ma_ max_ mal_ mal_ ma_ ma_ ma_ mal_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma) ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_ ma_

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2020年12月18日
一份简单《图神经网络》教程,28页ppt
专知会员服务
123+阅读 · 2020年8月2日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
79+阅读 · 2020年6月11日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
6+阅读 · 2018年12月3日
Arxiv
0+阅读 · 2021年12月22日
Arxiv
7+阅读 · 2021年11月11日
Arxiv
4+阅读 · 2021年7月1日
SIGN: Scalable Inception Graph Neural Networks
Arxiv
5+阅读 · 2020年7月15日
Arxiv
6+阅读 · 2019年11月14日
SlowFast Networks for Video Recognition
Arxiv
4+阅读 · 2019年4月18日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
6+阅读 · 2018年12月3日
Top
微信扫码咨询专知VIP会员