用区块链思维探讨数据备份
区块链,有人将它奉为圭臬,也有人将之视如敝屣。可能从来没有一种技术能像区块链这样带有如此的大争议。它真的一无是处吗?或者它真的有值得应用的地方?今天我们就来谈谈区块链技术的那些“奇思妙用”,分享来自戴尔易安信中国研发中心的技术大咖的文章——用区块链赋能未来IT基础设施架构,先来谈谈区块链在数据备份上的妙用。
吴鹏飞
吴鹏飞:就职于戴尔易安信中国研发集团,高级工程技术专家,首席技术官办公室。在戴尔易安信工作期间撰写了近30篇专利;于国际顶级期刊(如IEEE TIP/TGRS/TMI/TNNLS/TMM)上发表了若干论文,目前专注于分布式/去中心化系统、区块链、计算机视觉、模式识别以及机器学习的研发工作。
很少有一项技术能像区块链这般,有着如此显著的优势与缺陷:去中心化、数据永久保存与防篡改,这些难以置信的优点,加上一度火热的比特币,曾让不少人以为技术的乌托邦已经到来;然而,性能低下、对计算、存储及网络资源的海量消耗,又让许多人对它嗤之以鼻。
我们知道,由于CAP原理(一个提供数据服务的存储系统无法同时完美的满足一致性、数据可用性、分区耐受性这三个条件)的存在,人们在设计分布式系统时不得不在多个期望的特性中做出妥协。而本文试图以混合云、多云为例,探讨在设计未来IT基础设施架构时,可能面临的艰难抉择;以及如何利用区块链,扬长避短,并使其在基础设施架构中扮演重要角色。以此为基点,展望未来区块链在IoT、车联网、自动驾驶等新兴领域的应用。
一般情况下,用户拥有并维护一个私有数据中心,其传统IT基础设施架构就像下图这样▼
而如果用户对数据和服务的可靠性、可用性有较高要求,通常的解决方案是建立多个异地数据中心,互为备份▼
然而,这种方案的一次性投入较高,且对运维提出了苛刻要求。
而随着云计算的兴起,用户多了一种选择,可以在不对现有数据和业务进行迁移的情况下,把容错和灾备的数据与服务部署在公有云上▼
这种做法的好处显而易见:云资源可以按需使用,无需巨大的一次性成本投入。不过问题依然是存在的,在此种设置下,用户数据需要在企业私有环境与公有云环境之间进行迁移,用户对数据的安全性和完整性的担忧也随之产生。
有人说:这还不简单,加个数据校验服务啊。在用户私有环境下部署,维护一组元数据,据此对公有云上数据进行校验,以便及时发现错误并进行恢复。
等等!我们在现有IT架构中引入公有云的初衷,难道不是因为用户私有环境有失效风险吗(可能发生的情况包括元数据错误、丢失,甚至机房掉电等。),如果这里的数据校验服务也失效了怎么办?
既然如此,那我们就在云上部署一个数据校验服务的备份!
这下可好,我们陷入了一个死循环:
1.引入云是为了应对私有数据中心失效的问题,却带来了对云上数据正确性和完整性的担忧;
2.于是希望通过数据校验服务帮助用户验证数据的正确性,但这同样带来了私有数据中心下数据失效的风险;
3.那么就把数据校验服务在云上进行备份!好,这下我们又回到了步骤1,再次面临元数据的正确性和完整性问题!
上面我们说到,通过上云和数据校验服务的方法并不能根本解决备份数据的完整性问题,那么近年来大火的区块链能否给我们带来一些启发呢?
来看看区块链具有的显著优点:
数据永久保存
防篡改
这不正是我们梦寐以求寻找解决云上数据正确性和完整性的方法吗!
好,有了方向就好办了,现在我们就来探索下,尝试把元数据放在区块链上:
通过共识算法,私有数据中心可以和公有云达成共识,保证区块链上的数据正确性
虽然共识算法只能保证最新一个区块的正确,但通过哈希链,区块链上所有历史数据的正确性均可以得到保证
看起来还不错,可区块链不还有很多缺点,它们会成为我们的绊脚石吗?
不妨针对区块链的缺点逐一分析:
私有链需要的节点个数有限,此外,元数据多重备份提高了数据安全性和可用性。
私有链的共识算法有多种选择,以应对不同的环境。当所有节点都可信,只是有数据出错、丢失风险时,甚至可以使用Raft作为共识算法(例如,使用zookeeper)。但当我们不信任云节点时,也可以使用PBFT共识算法,或者VMWare的安全专家们提出的SBFT算法。由于私有链节点个数不多,PBFT/SBFT对资源的占用也不会很大。
u SBFT: a Scalable Decentralized Trust Infrastructure for Blockchains, arxiv.org/abs/1804.0162
我们知道,比特币性能的理论上限在 6-7 TPS(transaction per second)。
但是区块链在当前场景下只用于记录校验数据,TPS的要求非常低,zookeeper或者PBFT/SBFT作为共识算法完全可以满足要求。
结论:Cool!区块链在当前应用场景下,优点异常突出;同时,有些缺点甚至还能转换为优势!
于是上述结构也可以很轻松的扩展到多云。在多云环境下,我们甚至能隔离云节点对区块链上云数据的访问。
◆ 针对每一个公有云,我们都部署一个独立的区块链。这些区块链在客户私有环境下设有节点。然而,公有云A数据对应的区块链节点却只部署在公有云B上,从而实现数据隔离。如右图所示。
◆ 另一种技术方案是,区块链上不保存任何元数据,而只保留云数据的哈希,以作审计。真正的元数据在链下另作保存,并广播给指定的云节点:相应的,我们可以只把公有云A的云数据广播给公有云B。
IoT环境下,数据和计算节点可能由相互间缺乏信任的不同组织机构控制,但大家依然有数据交换的需求;和之前的多云场景类似,区块链可以在这样的环境下起到“数据审计”的作用,从而成为黏合IoT数据孤岛的“胶水”!
在车联网和自动驾驶世界,无障碍的数据交互显得格外重要:你无法决定行驶在你周围的车辆是不是与你的座驾来自同一制造商,因此车辆间通信依然面临缺乏信任的问题。而区块链可以作为一个虚拟的中心服务(虽然它本质上是去中心化的)存在:所有的车辆从区块链获取核心车联网控制策略,无论这些车辆是否属于同一品牌;
车企可以在自身的区块链节点上配置不同的策略审批准则。任何车企均可以尝试发布新的车联网控制策略,这种策略会在全网生效,包括那些不同品牌的车辆。但新策略只有获得所有网内车企批准才会在区块链上生效,从而提供给所有联网的车辆使用;
不同车辆通过从自己信任的区块链节点获取(事实上相同的)车联网控制策略,从而实现车辆间顺畅的点对点交互。
从2016年开始,戴尔科技集团旗下戴尔易安信、VMware、Pivotal的技术从业人员就组成了区块链兴趣小组(BIG),为客户提供戴尔科技的区块链能力。
例如,戴尔易安信开发了一系列服务,以帮助我们的客户验证他们的区块链使用案例。结合业务分析,并使用基于sprint的方法,我们致力于在以下领域中识别和限定区块链用例。
内部部署
许多用例需要区块链在本地运行。区块链实施不会生活在真空中,但必须与现有的服务器/网络/存储基础设施共存。这将需要新的服务,以协助功能解决方案的设计和架构。基础设施包括服务器和带有GPU的HCI,用于在以太坊,服务器和HCI上进行极快速挖掘,具有巨大的核心数量来支持Hyperledger链码,以及大量的对象存储来引用脱链数据资产。
场外
但是,有些公司不希望承担在内部实施区块链所带来的所有权和治理责任。对于这些公司,戴尔科技集团旗下另一家公司Virtustream也许可以帮到你,Virtustream正在探索Secure Enterprise Ledgers的治理用例。
应用
新设计的区块链应用程序利用区块链后端并与之交互,本质上是云原生的。Pivotal提供基于PaaS的前提或混合解决方案,专注于简化云原生应用程序的部署和管理。像NHC(Native Hybrid Cloud)或PKS这样的产品可以在几秒钟内完成部署,并允许开发人员专注于业务逻辑代码,而不是应用程序周围的所有组件。
企业级区块链
企业区块链部署仍处于起步阶段,许多企业需要帮助破译快速发展的环境。戴尔易安信咨询服务可以围绕任何区块链进行设计,而实施则没有任何可以比VMware拥有更好的企业级区块链。VMware的区块链研究正在实现真正的企业级区块链的优势:规模,安全性,性能和容错能力。
结语
世上之事物本无善恶之分,思想使然(哈姆雷特2.2)。区块链虽然伴随着很多争议,但如果能在正确的时间、正确的位置被正确的使用,依然有爆发出巨大能量的潜力,并编织IT基础设施架构的未来。
致谢
本文写作过程中深受与Lyne Lin和Alaric Chen讨论的启发。
本文首发于戴尔科技集团知乎专栏
“AIoT时代的数据资产”
这是一个由戴尔易安信中国研发中心
技术大咖们所管理的专栏
AI、IoT、大数据和数据存储...
你想知道的前沿技术趋势以及深度技术剖析
我们的研发人员将会持续在该专栏分享
扫描下方二维码即可关注我们
☟☟☟
扫码关注知乎号
你和戴尔易安信专家只有一条网线的距离~
动手指“盘”它
进入戴尔易安信解决方案中心
点击▼“阅读原文”了解更多数字化转型方案
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- 1 跨越山海的友谊 7932763
- 2 媒体评前体操冠军当性感网红 7971333
- 3 保时捷公开道歉 7818297
- 4 2024年世界互联网大会乌镇峰会亮点 7789187
- 5 曾被举报出轨的县委副书记落马 7687182
- 6 哈尔滨中央大街铺上地毯了 7597292
- 7 黄圣依 死脑快想啊 7414962
- 8 故意冲撞石山舰 17人被抓 7352214
- 9 王楚钦说张本智和赢得不容易 7272360
- 10 9条具体措施稳外贸 7112313