为提升 DCP 传输效率,阿里工程师竟然这样做!

2020 年 3 月 28 日 CSDN

作者 | 阿里文娱技术

责编 | 胡巍巍
出品 | CSDN(ID:CSDNnews)

 
背景

DCP 全拼是 Digital Cinema Package,中文是数字电影包,用于存储和转换数字影像的音频、 图像和数据流,是影院放映设备使用的媒体文件包。一部普通 2D  电影的 DCP  大小一般在 40G~60G 之间,一部普通 3D 电影要乘以 2 倍,如果是 IMAX 或者 4k 的电影,DCP 的大小达 到 200G 以上也是正常的。
本文揭秘超过 200G 的超大数字电影包如何高效通过 TMS 传输到各个影厅。现在影院拷贝 DCP 到各影厅的方式主要是使用 TMS(影院放映管理系统)的传输影片功
能,由 TMS 负责把 DCP 传输到各个影厅,但是这种传输的效率不高,数据源只有 TMS,所以 各影厅拷贝影片都要到 TM S 上拉取,带宽就成为了瓶颈。

目前使用 TMS 向播放服务器传输 DCP 的模式

使用类 P2P 方式传输

从图 1 可以看出,影厅的播放服务器拉取 DCP 后,它们的带宽就处于空闲状态,那么我们 完全可以使用类似于 P2P(对等网络传输)传输方式解决,这样就可以用现有设施提高影院内 DCP 的分发效率,起到降本提效的效果。
P2P 示意图  
根据上面的 P2P 方式,改造影院内传输 DCP 的模型:
改进后的 TMS 向播放服务器传输 DCP 的模式  
上图主要叙述的是传输协调器协调各个影厅寻找传输源拉取 DCP 的过程。本改进方案的特 点是增加了一个传输协调器作为共享状态机,协调各影厅拷贝 DCP 的路径,计算出传输路径最 优解。传输协调器的核心功能是:
1)收集各厅播放服务器网络情况;
2)标记 DCP 在各厅播放服务器的存储情况;
3)根据网络情况,计算并派发传输任务到各厅播放服务器。而且使用了本方案的传输方式,传输效率会有极大的提升。例如有一个 DCP 的文件总大小
为 400GB,总共 10 个影厅,带宽为 1000Mbps≈125MB/s,那么使用传统 TMS 传输方式,起码
要 400102410÷125÷60÷60=9.10 小时,差不多一个工作日的时间。而如果使用新方式,仅 需要 3 小时,可以提升 3 倍,而且随着影厅的增多,效率提升指数增加。

 

进一步改进方案

由图 3 了解到,虽然上述方案把带宽浪费的问题解决了,但是架构上还有一些问题:传输 协调器就是一个单点,它挂了,传输就出问题了;数据只能有一个数据来源,来源挂了,传输 就停止了,而且重新传输要从头开始。这时候我们要如何解决?
这两个问题可以使用传输协调器去中心化部署及文件分片断点续传方式下载解决: 

1.传输协调器去中心化部署

我们可以把传输协调器部署到各个影厅,每个传输协调器是一个几乎无状态节点,节点之 间无任何信息同步,每当一个影厅的 DCP 传输完成后,就广播到各个传输协调器中。但发送拷 贝指令的方式就需要改造一下,由 TMS 统一发送下载影片的指令到各个影厅的传输协调器,然 后传输协调器就负责询问邻近节点是否有可下载的 DCP,存在则下载,不再需要 TMS 的传输 协调器为影厅指定下载地址。新的网络拓扑图如下: 
进一步改进后的网络拓补图  

2.文件分片断点续传方式下载 DCP

上一节的方案中,拷贝 DCP 还是使用播放服务器原生指令操作的,限制很大,不支持多数 据源及文件分片操作。既然播放服务器不支持,那么我们就需要自己开发一个中介角色,需要 支持多数据源及文件分片操作,并且具备拷贝 DCP 到播放服务器硬盘的能力,而部署在影厅的 传输协调器恰好可以承担这个职责。多数据源及文件分片方案示意图如下:
多数据源及文件分片方案示意图  
上述两种技术方案可以合并使用。小结:虽然这种方式并不能提升多大的速度,但是在系统容错性方面有所提升,用户体验更好了。

总结

通过上述章节可以看出,我们通过将 P2P、FTP、断点续传、文件分片等技术的融合,产生 了一个专用于局域网传输 DCP 的技术方案。我们借鉴 P2P 的思想,实现了影厅的片源在局域网 内共享的效果,克服了传统 TMS 传输 DCP 单数据源的缺点;使用 FTP 作为传输手段,兼容现 有影厅的传输模式;使用断点续传、文件分片提升系统的容错性。
这个方案其实是很典型的组合创新法,用的技术都是已有并且是很经典的,但通过将它们 重新梳理整合,使其在性能上发生质的变化,以产生出新的价值。本文的方案正是使用这种方 法诞生的,在设计这个方案的过程中,我也学会了组合创新法的一些皮毛,以后还要继续努力 学习这种方法。
【End】

推荐阅读 
开源的未来 10 年:中国开源社区建立是关键
DDoS 攻击爆发!医疗在线教育成重点,代理攻击成常态
国外程序员也撸猫,Linux 之父谈在家办公体验!

GitHub 疑遭中间人攻击,无法访问,最大暗网托管商再被黑!

看完这一篇,你就对 Spring Security 略窥门径了 | 原力计划

为何你的 SaaS 想法总是失败?没想清楚这 4 个原因可能会继续失败!

你点的每一个在看,我认真当成了喜欢
登录查看更多
0

相关内容

P2P:IEEE International Conference on Peer-to-Peer Computing。 Explanation:IEEE对等计算国际会议。 Publisher:IEEE。 SIT:http://dblp.uni-trier.de/db/conf/p2p/
【干货书】现代数据平台架构,636页pdf
专知会员服务
257+阅读 · 2020年6月15日
【实用书】Python爬虫Web抓取数据,第二版,306页pdf
专知会员服务
118+阅读 · 2020年5月10日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
120+阅读 · 2020年5月6日
阿里巴巴达摩院发布「2020十大科技趋势」
专知会员服务
107+阅读 · 2020年1月2日
阿里技术大牛:一份架构师成神路线图!
51CTO博客
30+阅读 · 2019年7月6日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
硬核实践经验 - 企鹅辅导 RN 迁移及优化总结
IMWeb前端社区
5+阅读 · 2019年5月6日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
一天精通无人中级篇:遥控器协议 S-BUS
无人机
52+阅读 · 2018年12月20日
干货 | 双11总峰值超8亿OPS 阿里分布式NoSQL如何岿然不动稳如山?
阿里巴巴数据库技术
10+阅读 · 2018年12月12日
京东用户画像揭秘:原来买iPhone X的是这么些人
R语言中文社区
10+阅读 · 2017年9月14日
Neural Image Captioning
Arxiv
5+阅读 · 2019年7月2日
Factor Graph Attention
Arxiv
6+阅读 · 2019年4月11日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
15+阅读 · 2018年2月4日
VIP会员
相关资讯
阿里技术大牛:一份架构师成神路线图!
51CTO博客
30+阅读 · 2019年7月6日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
硬核实践经验 - 企鹅辅导 RN 迁移及优化总结
IMWeb前端社区
5+阅读 · 2019年5月6日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
一天精通无人中级篇:遥控器协议 S-BUS
无人机
52+阅读 · 2018年12月20日
干货 | 双11总峰值超8亿OPS 阿里分布式NoSQL如何岿然不动稳如山?
阿里巴巴数据库技术
10+阅读 · 2018年12月12日
京东用户画像揭秘:原来买iPhone X的是这么些人
R语言中文社区
10+阅读 · 2017年9月14日
相关论文
Neural Image Captioning
Arxiv
5+阅读 · 2019年7月2日
Factor Graph Attention
Arxiv
6+阅读 · 2019年4月11日
Arxiv
24+阅读 · 2018年10月24日
Arxiv
15+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员