With increasing advancements in technologies for capturing 360{\deg} videos, advances in streaming such videos have become a popular research topic. However, streaming 360{\deg} videos require high bandwidth, thus escalating the need for developing optimized streaming algorithms. Researchers have proposed various methods to tackle the problem, considering the network bandwidth or attempt to predict future viewports in advance. However, most of the existing works either (1) do not consider video contents to predict user viewport, or (2) do not adapt to user preferences dynamically, or (3) require a lot of training data for new videos, thus making them potentially unfit for video streaming purposes. We develop PARIMA, a fast and efficient online viewport prediction model that uses past viewports of users along with the trajectories of prime objects as a representative of video content to predict future viewports. We claim that the head movement of a user majorly depends upon the trajectories of the prime objects in the video. We employ a pyramid-based bitrate allocation scheme and perform a comprehensive evaluation of the performance of PARIMA. In our evaluation, we show that PARIMA outperforms state-of-the-art approaches, improving the Quality of Experience by over 30\% while maintaining a short response time.


翻译:随着捕获360(deg)视频的技术不断进步,这种视频流学的进步已成为一个受欢迎的研究课题。然而,流传360(deg)视频需要高带宽,这就增加了开发优化流算法的需要。研究人员提出了解决这一问题的各种方法,考虑到网络带宽或试图提前预测未来浏览站。然而,大多数现有作品要么(1)不考虑视频内容以预测用户浏览点,或者(2)不动态地适应用户的偏好,或者(3)需要大量新视频培训数据,从而使它们可能不适合视频流出。我们开发了PARIMA,这是一个快速高效的在线浏览预测模型,使用用户以往的浏览点以及主要对象的轨迹作为视频内容的代表,以预测未来浏览点。我们声称,用户的头部移动主要取决于视频中主要对象的轨迹。我们采用了基于金字塔的比特分配计划,并对PARIMA的性能进行了全面的评估。我们的评估显示,在使用PARIMA的短期应对方法的同时,我们展示了PARIMA在短时间上改进质量的方法。

0
下载
关闭预览

相关内容

专知会员服务
64+阅读 · 2021年5月29日
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
【论文推荐】小样本视频合成,Few-shot Video-to-Video Synthesis
专知会员服务
23+阅读 · 2019年12月15日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
一招教你解决FlutterPlatformViews内存泄露问题
前端之巅
6+阅读 · 2019年5月26日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
已删除
将门创投
4+阅读 · 2017年12月12日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
Deep Learning in Video Multi-Object Tracking: A Survey
Arxiv
57+阅读 · 2019年7月31日
Video-to-Video Synthesis
Arxiv
9+阅读 · 2018年8月20日
VIP会员
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
一招教你解决FlutterPlatformViews内存泄露问题
前端之巅
6+阅读 · 2019年5月26日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
已删除
将门创投
4+阅读 · 2017年12月12日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
Top
微信扫码咨询专知VIP会员