为提升 DCP 传输效率,阿里工程师竟然这样做!

百家 作者:CSDN 2020-03-28 21:45:46

作者 | 阿里文娱技术

责编 | 胡巍巍
出品 | CSDN(ID:CSDNnews)

 
背景

DCP 全拼是 Digital Cinema Package,中文是数字电影包,用于存储和转换数字影像的音频、 图像和数据流,是影院放映设备使用的媒体文件包。一部普通 2D  电影的 DCP  大小一般在 40G~60G 之间,一部普通 3D 电影要乘以 2 倍,如果是 IMAX 或者 4k 的电影,DCP 的大小达 到 200G 以上也是正常的。
本文揭秘超过 200G 的超大数字电影包如何高效通过 TMS 传输到各个影厅。现在影院拷贝 DCP 到各影厅的方式主要是使用 TMS(影院放映管理系统)的传输影片功
能,由 TMS 负责把 DCP 传输到各个影厅,但是这种传输的效率不高,数据源只有 TMS,所以各影厅拷贝影片都要到 TMS 上拉取,带宽就成为了瓶颈。

目前使用 TMS 向播放服务器传输 DCP 的模式

使用类 P2P 方式传输

从图 1 可以看出,影厅的播放服务器拉取 DCP 后,它们的带宽就处于空闲状态,那么我们 完全可以使用类似于 P2P(对等网络传输)传输方式解决,这样就可以用现有设施提高影院内 DCP 的分发效率,起到降本提效的效果。
P2P 示意图 
根据上面的 P2P 方式,改造影院内传输 DCP 的模型:
改进后的 TMS 向播放服务器传输 DCP 的模式 
上图主要叙述的是传输协调器协调各个影厅寻找传输源拉取 DCP 的过程。本改进方案的特 点是增加了一个传输协调器作为共享状态机,协调各影厅拷贝 DCP 的路径,计算出传输路径最 优解。传输协调器的核心功能是:
1)收集各厅播放服务器网络情况;
2)标记 DCP 在各厅播放服务器的存储情况;
3)根据网络情况,计算并派发传输任务到各厅播放服务器。而且使用了本方案的传输方式,传输效率会有极大的提升。例如有一个 DCP 的文件总大小
为 400GB,总共 10 个影厅,带宽为 1000Mbps≈125MB/s,那么使用传统 TMS 传输方式,起码
要 400102410÷125÷60÷60=9.10 小时,差不多一个工作日的时间。而如果使用新方式,仅 需要 3 小时,可以提升 3 倍,而且随着影厅的增多,效率提升指数增加。

 

进一步改进方案

由图 3 了解到,虽然上述方案把带宽浪费的问题解决了,但是架构上还有一些问题:传输 协调器就是一个单点,它挂了,传输就出问题了;数据只能有一个数据来源,来源挂了,传输 就停止了,而且重新传输要从头开始。这时候我们要如何解决?
这两个问题可以使用传输协调器去中心化部署及文件分片断点续传方式下载解决: 

1.传输协调器去中心化部署

我们可以把传输协调器部署到各个影厅,每个传输协调器是一个几乎无状态节点,节点之 间无任何信息同步,每当一个影厅的 DCP 传输完成后,就广播到各个传输协调器中。但发送拷 贝指令的方式就需要改造一下,由 TMS 统一发送下载影片的指令到各个影厅的传输协调器,然 后传输协调器就负责询问邻近节点是否有可下载的 DCP,存在则下载,不再需要 TMS 的传输 协调器为影厅指定下载地址。新的网络拓扑图如下: 
进一步改进后的网络拓补图 

2.文件分片断点续传方式下载 DCP

上一节的方案中,拷贝 DCP 还是使用播放服务器原生指令操作的,限制很大,不支持多数 据源及文件分片操作。既然播放服务器不支持,那么我们就需要自己开发一个中介角色,需要 支持多数据源及文件分片操作,并且具备拷贝 DCP 到播放服务器硬盘的能力,而部署在影厅的 传输协调器恰好可以承担这个职责。多数据源及文件分片方案示意图如下:
多数据源及文件分片方案示意图 
上述两种技术方案可以合并使用。小结:虽然这种方式并不能提升多大的速度,但是在系统容错性方面有所提升,用户体验更好了。

总结

通过上述章节可以看出,我们通过将 P2P、FTP、断点续传、文件分片等技术的融合,产生 了一个专用于局域网传输 DCP 的技术方案。我们借鉴 P2P 的思想,实现了影厅的片源在局域网 内共享的效果,克服了传统 TMS 传输 DCP 单数据源的缺点;使用 FTP 作为传输手段,兼容现 有影厅的传输模式;使用断点续传、文件分片提升系统的容错性。
这个方案其实是很典型的组合创新法,用的技术都是已有并且是很经典的,但通过将它们 重新梳理整合,使其在性能上发生质的变化,以产生出新的价值。本文的方案正是使用这种方 法诞生的,在设计这个方案的过程中,我也学会了组合创新法的一些皮毛,以后还要继续努力 学习这种方法。
【End】

推荐阅读 
开源的未来 10 年:中国开源社区建立是关键
DDoS 攻击爆发!医疗在线教育成重点,代理攻击成常态
国外程序员也撸猫,Linux 之父谈在家办公体验!

GitHub 疑遭中间人攻击,无法访问,最大暗网托管商再被黑!

看完这一篇,你就对 Spring Security 略窥门径了 | 原力计划

为何你的 SaaS 想法总是失败?没想清楚这 4 个原因可能会继续失败!

你点的每一个在看,我认真当成了喜欢

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接