落地云原生,你的存储准备好了吗?

百家 作者:QingCloud 2020-12-02 20:17:24


随着传统企业转型升级的深入以及互联网行业竞争的日益激烈,企业内外部的应用激增,运维复杂程度提升,新业务的快速上线发布受限。比如,在 DevOps 流程中由于环境不一致导致的问题,应用如何去做容灾和恢复,以及在进行微服务架构改造过程中如何更好的做服务发现、治理、访问控制、灰度发布和升级等等。这一切的问题现在都可以通过云原生的技术手段得以解决。

在云原生架构下,数据保护机制、弹性扩容能力以及海量并行任务如何依然保持优异性能,成为分布式存储面临的新挑战。K8s 的开放性决定了几乎所有专业存储厂商都可以提供对接容器平台的能力,但到底什么架构才能完美匹配云原生应用场景上的需求呢?

作为可以在企业私有云环境下进行独立交付的分布式存储产品线,QingStor 旗下有四款产品,分别是 NeonSAN 块存储,为极致性能而设计,极短 I/O 路线栈;对象存储,为海量非结构化数据而设计,独立分布式索引层,支持小文件合并;文件存储,为通用场景而设计,完整支持 POSIX 语义,BlockSize 独立可调;融合存储,为高性价比而设计,一套架构提供多种接口的统一存储池。

从架构层面来看,QingStor NeonSAN(以下简称"NeonSAN")是一款为核心业务设计的存储架构,从用户的虚拟卷到物理硬盘直接映射的架构,能够提供一个极短的 I/O 路径栈,进而充分释放底层物理硬盘的性能,NeonSAN 在中间部分没有任何的本地文件系统支撑,所有的元数据和数据管理逻辑都是青云QingCloud 自研代码完成的。

针对云原生应用的存储性能测试对比,青云QingCloud 选择了目前在容器平台上最常使用的开源存储产品。在 3 节点全闪硬盘的测试环境中也测了很多不同的指标,下图列出一个关键指标,即 70%/30% 混合读写的模式下,NeonSAN 的 IOPS 大幅领先于 OpenEBS, Longhorn,Ceph-rook。


NeonSAN 采纳了比较多新的技术,比如在软件架构层面针对 SSD 和 NVMe 进行了优化,通过 RDMA 网络进行数据副本间的复制,并且还实现了 NVMe-oF 的存储访问协议。NeonSAN 目前已经在企业客户中有大规模生产环境的部署,包括公有云平台上的云硬盘,就是 NeonSAN 最典型的使用场景。私有云也有很多落地案例,覆盖了包括金融、制造、能源、医疗、政府等非常多关键的行业。

针对云原生架构体系,NeonSAN 做了很多优化。

首先,NeonSAN 做到了完整的 Kubernetes CSI 存储插件的支持,实现了平台针对存储本身的操作需求,比如说创建、销毁、克隆、备份卷等,并且可以做到动态供应的能力,不需要运维人员提前创建容器使用的存储空间。应用开发人员通过声明式描述存储需求,存储空间创建和绑定过程是和应用创建过程同步完成的。

其次,实现存储组件本身的容器化部署。充分地利用 K8s 本身提供的扩展运维能力的插件机制,也就是 Operator。当 K8s 监测到集群状态发生变化的时候,会触发 Operator 实现的逻辑,自动化完成运维管理的操作。通过这种方式将企业运维人员对于存储运维的经验,内化成了代码,集成到了 K8s 平台上,实现对于 NeonSAN 存储本身在 K8s 平台上的自动化运维工作,例如部署、扩容、故障恢复等。过去的物理机部署方式,扩容需要运维人员人工参与,整个过程通常是以小时计的,但是通过采用云原生架构的方式进行自动化运维以后,整个扩容时间可以降低到分钟级别,极大地提高了运维效率。


今年 9 月份,青云QingCloud 发布了一款全新的容器存储一体机产品,其软件架构是由提供存储能力的 NeonSAN 与基于 K8s 进行研发的 KubeSphere 容器平台组成。

其中 KubeSphere 容器平台是青云QingCloud 基于 K8s 研发的开源容器平台,目前在云原生社区收获了广泛的关注和好评。

青云QingCloud 希望通过这种强强联合的方式,帮助企业快速拥抱云原生架构,落地云原生应用。


得益于云原生开发者的贡献,这款容器存储一体机拥有极易上手的使用体验,可以说是云原生开发领域最好用的一款容器平台产品。结合针对一体机硬件的配置调优,能够做到开箱即用、稳定运行、性能优异

青云QingCloud 对这款容器产品进行了大量云原生场景下的测试。其中一个测试是批量创建 100 个 pod 和 pv 卷,总耗时是 70s,这个时间远远少于行业同类的容器加存储解决方案;在常规的存储性能测试中,使用 FIO 工具对单 pod 进行压力测试,结果看到可以达到 10 万以上 IOPS,以及亚毫秒的访问时延。

未来,云原生应用在企业内部的大规模落地,会让越来越多的存储厂商选择对接容器平台。企业在选择最适合云原生平台运行的存储方案时,必须要考虑三点:首先,应该是一个分布式存储架构;其次,作为一个存储,本身要提供专业的存储能力,包括了稳定性、性能等方面;最后,存储架构自身是否能够利用云原生技术,比如使用 K8s 平台本身的集群管理能力,对存储做自动化的部署、扩容、升级、故障恢复等

QingStor 产品家族针对在云原生场景的研究和优化,能够帮助企业快速落地云原生架构和应用,并实现全栈国产自主可控的能力,为企业生产数据保驾护航的同时,最大程度发掘数据的价值。





- FIN -


相关文章推荐






八年锻造,为云而生,QingStor 分布式存储全线升级


当容器拍了拍存储,让你“想用又敢用”云原生


优秀的超融合,应该具备什么样的品质?




云原生 Meetup


Kubernetes and Cloud Native Meetup

与现场 200+ 位 Kubers 共同探讨容器技术

扫码报名丨12 月 19 日,我们相约北京




促销活动


“青”力钜惠 | ChronusDB 数据库 9.9 元享 1 年

扫码立即抢购


进一步了解 QingStor

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接