砥志研思、履践致远:华为助力中国银行成功部署网络级数据压缩加速技术
2021年12月,随着最后一条指令确认完成,中国银行广域网数据加速创新课题从0到1成功孵化落地,骨干网带宽占用率显著降低,跨中心业务运行稳定,标志着中国银行在国内金融行业创新性地实现了网络级数据压缩加速技术的应用创新和商业投产,为金融业务数字化转型提供了一条稳定、通畅的高速公路。
生态驱动
提出传输能力新要求
数字化已成为时代的基因,利用金融科技促进转型升级,是当下商业银行面临的普遍课题。中国银行深度融入数字经济发展浪潮,扎实推进“一体两翼”,全面推进数字新基建,不断加强科技创新和场景生态建设,提升金融服务基础能力。数字化转型的背后,是海量数据在多个数据中心、分支机构间的高速交互,而金融企业骨干网络,正是实现这一交互的核心大动脉。数据量的指数级增长、多地多中心的新布局,都对中国银行网络传输能力提出了更高的要求,集中体现在两个方面。
一方面,业务增长带动网络带宽急速增长,运营成本压力倍增。中国银行持续推进金融场景生态建设,提升金融服务基础能力,数字化赋能网点转型新业务的发展,随着数字化转型的持续推进,数据内容从文本数据为主已经快速转向多种格式并存的状态,全行数据生成、保有、传输量快速增长。从业务传输类型来说,不仅要满足实时在线业务的高效低延时转发,也要满足批量、备份等异步数据的大带宽需求。数据传输规模的快速增长,让当前的骨干网容量面临很大压力,线路带宽从1Gb量级扩容到10Gb量级,增长近十倍,专线租用费用逐年快速递增,线路费用已经超过骨干网络设备投资成为运营支出的大头。面对巨大的成本压力,迫切需要探索一种创新技术,可以实现数据压缩加速传输,提高单位带宽利用率,减缓骨干网带宽容量增速,达到降本增效的目的。
另一方面,IT架构演进也同步驱动了作为IT高速转发总线的中心间骨干网络带宽的快速提升。中国银行的IT架构从两地三中心向分布式多地多中心演进,应用系统从主要部署在主生产中心转向分布式部署在多个数据中心转变,使得中心间的数据交互大量增加,数据中心互联的骨干网也已演进为多地全互联架构。传统的线路级压缩加速技术已不再适用,必须考虑适合多点到多点任意连接的网络级数据压缩加速技术体系。
为满足数字时代要求,中国银行提出了适合大型金融企业骨干网的压缩加速技术应同时具备的技术要点,包括性能、可靠性、可管理性和组网能力等方面的多项关键指标要求,并对IT业界的压缩加速技术市场现状进行了研究分析。研究发现,业界主流压缩加速技术解决方案不能同时满足这些硬性要求,分别在满足一部分要求的同时存在着各种各样的不足,主要归纳为:
1.性能方面存在不足。大带宽骨干网数据压缩加速需要进行高强度数据处理,对计算和转发能力要求极高。计算能力不足的系统,不能满足大带宽的传输能力,而且会增加网络传输时延,降低网络服务质量。
2.可靠性方面存在不足。需要单独增加压缩加速专用设备,会增加网络的复杂度降低网络可靠性,这对骨干网是致命缺陷;流式字典压缩算法存在可靠性缺陷。对骨干网长距离专线质量要求严苛,丢包、乱序均会造成解压失败,对数据传输造成影响。
3.可管理性方面存在不足。IPComp协议等压缩协议,会对数据报文的IP报文头、TCP/UDP报文头与数据负载一起压缩,将多个数据流压缩成单一压缩流,导致无法实现多业务流识别与精细化统计分析,无法在网络的多路径上进行流量负载分担,无法在线路拥塞时定位原因,并且无法匹配网络上的服务策略,无法满足骨干网的管理要求。
4.组网能力方面存在不足。使用成对设备进行点到点专线压缩的技术方案,匹配的主流需求场景是中小型的单数据中心星型网络,或者两地三中心的传统企业网络,无法适应规模庞大架构复杂的大型金融企业网络结构,无法满足多点到多点大型组网场景。
适用于大型金融企业内网的网络级数据压缩加速技术,需要在上述各个方面全面解决不足之处,整合全方位能力优势,需求场景复杂,技术要求涉及面广,是数据压缩加速技术领域无人登顶的雪山之巅,需要从零开始克服重重困难进行攀登。
致知力行
实现网络加速新突破
中国银行与华为联合课题组结合金融行业对数据压缩加速技术性能、可靠性、可管理性和组网能力等方面的要求,充分分析了多个技术方案的局限性和问题点,启动了业内首个基于网络设备内置的全网状多点无状态压缩技术的应用创新。创新课题当前已完成从场景需求梳理、可行性研究、关键技术实验以及验证性投产部署,验证环境整体架构如图1所示。
图1 中国银行网络级数据压缩加速技术架构
网络级数据压缩加速技术在性能、可靠性、可管理性和组网能力等各方面全面整合优势,消除了各方面短板,满足了大型金融企业骨干网的压缩加速技术所需的全部要素,具体包括以下几点。
1.高性能
网络级数据压缩加速技术参考通用的LZ4、Zstd、Deflate等压缩算法结合无状态协议创新,经生产数据验证,纯压缩比高达2.3:1,工程压缩比1.6:1以上,单位带宽利用率提升37%以上。
网络级数据压缩加速技术的压缩与解压过程产生的时延控制在0.1毫秒量级,相比骨干网传输全程一般数十毫秒量级的总时延,可以忽略不计,最大程度减小上层业务感知。
图2 中国银行网络级数据压缩加速主要性能指标
2.高可靠性
网络级数据压缩加速技术采用在骨干网路由器上新增专用业务板卡的方式,将压缩加速相关的引流、处理、转发工作在单台设备内一站式完成,流量处理路径短、效率高,避免了引入额外设备的架构复杂度和可靠性问题。
业务处理板卡处理能力显著提高,可以满足未来三至五年容量需求,并且实现了路由器机框内的双卡冗余容灾,在单一压缩加速卡出现软硬件故障时,可毫秒级将业务流量倒换至另一块板卡处理,满足自动冗余切换的金融级高可用要求。
3.高可管理性
网络级数据压缩加速技术在后续的网络转发过程中可以延续现有的服务策略和应用的统计呈现等管理策略与要求。
在压缩机制上采用了基于无状态可调式压缩算法,发生丢包乱序也不会影响解压,普适性和容错性大大增强。
图3 不同压缩机制对比
4.多点到多点的网络级压缩加速
网络级数据压缩加速技术实现了多点到多点的压缩与解压,压缩端和解压端无需建立会话,数据在单点压缩后,可以根据业务需求发往任意多个目的端,目的端侧设备基于压缩包识别进行解压,从而实现网络级的压缩加速能力,满足分布式多点互联场景。
图4 多点到多点的网络级压缩与解压
科技引领
开启业务赋能新征程
经过近一年的需求调研、可行性分析、技术攻克、方案规划及生产验证,中国银行网络级数据压缩加速技术创新初见成效,为整个金融行业所做出的一次前瞻性尝试。
未来这项创新全面部署后预计每年节约专线租用成本数千万人民币,显著降低网络运营成本,同时,批量文件数据传输总耗时将降低四分之一以上。此项创新也会对同业整体的降本增效工作作出有益的示范。后续将持续开展基于该技术的创新与应用研究,在智能识别、安全信任、IPv6结合等方面进行更多的尝试,进一步拓展应用场景,以期实现更大的技术突破,更好地为业务转型增效赋能。
中国银行也将持续着力金融行业科技发展,力争成为科技金融的全要素整合者、全链条创新者、全周期服务者,争做新发展阶段的科技金融领军银行。
文 / 中国银行信息科技运营中心 赵文烜、朱立维
你的每一次“在看”,我都看得见!
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- 1 澳门是伟大祖国的一方宝地 7923391
- 2 80岁顶级富豪再婚娶33岁华裔妻子 7922679
- 3 星巴克大罢工 7825206
- 4 2024 向上的中国 7790886
- 5 赵丽颖带儿子探班 7652985
- 6 男子钓上一条自带“赎金”的鱼 7504458
- 7 美国女子在地铁上被男子点燃身亡 7430588
- 8 柳岩谈44岁女演员的尴尬 7373987
- 9 唐尚珺35岁读大一 7208596
- 10 武警江西省总队原总队长施文求逝世 7194261