面向云原生,拥抱开源,QingStor 带给我们哪些惊喜?

百家 作者:QingCloud 2021-08-18 17:11:54





随着数据作为生产资料的价值不断凸显,企业业务系统对便捷性、容错性、安全性的要求越来越高,软件定义存储市场在近两三年里迎来高速发展,并且在未来几年内也存在明显的增长趋势。这是由于基于分布式架构的软件定义存储,能有效满足企业业务与 IT 的发展。企业级存储,也从单纯地符合合规要求,发展为以低成本更充分发挥数据的价值。

作为青云科技五大平台之一的存储平台,QingStor深入理解企业的分布式存储需求。基于在块存储、对象存储和文件存储方向上的不同需求,形成了完整的块存储产品、文件存储产品及对象存储产品,也可以将三者组合打包,形成融合存储产品形态,服务于企业的真正业务需求。

CIC 2021 云计算峰会上,QingStor 以“提供云原生时代的全栈存储服务,驱动数据引领业务创新”为愿景,携全新产品亮相,宣布全面拥抱开源社区,并发布并揭秘 v4.0 版本升级。




为云原生应用而生的 NeonIO


未来将有越来越多的工作负载从虚拟化和云平台向容器平台迁移,这就对容器平台的数据存储能力提出了更高的要求。NeonIO 作为一款专门为云原生应用而量身打造的云原生存储,能多方面帮助企业应对云原生时代的数据挑战。

NeonIO 的“轻”体现在采用 K8s Operator 的方式部署,最大化符合云原生应用的架构设计原则,让企业轻松拥有一键式部署能力。

同时,NeonIO 实现了全栈存储组件容器化,可以完整地运行在 k8s 平台之上,兼容国产系统和 ARM 平台,真正做到与平台无关,并且可与其他云原生应用融合部署运行。

NeonIO 能够全面兼容主流容器平台,例如 KubeSphere,OpenShift 等,通过实现 CSI 容器存储接口,实现存储卷的动态创建、销毁、管理、快照等容器平台所需的存储功能。

在运维层面,通过实现 k8s operator 机制,NeonIO 可以做到全自动化的部署和扩容,真正符合云原生应用的部署运维习惯。并且 NeonIO 大量引入 k8s 集群管理能力,包括健康检查、选主机制、日志收集等。

NeonIO 也延续了 QingStor 产品家族的其他特性。比如高可用,NeonIO 可以支持 1 到 3 副本,多副本之间采用强一致写,保障数据本身的高可用,可以做到整个系统组件无单点;比如高性能,如果在 K8s 平台上创建、调用 CSI 插件,通过 NeonIO 创建单个 PV 卷,单个 PV 卷的 IOPS 就可以达到 100k IOPS,并且能够将时延控制在微秒级水平。

NeonIO 经过半年的内部测试,将于今年 Q3 正式发布 2.0 社区版,欢迎通过 Github 公开链接免费下载、安装和使用。









下一代核心存储引擎 HydroFS


从架构设计之初,就坚持在底层存储技术上采用自主设计、自主研发的 QingStor,从 2019 年开始正式立项一个内部代号为 QFS 的全新分布式文件系统,作为下一代的存储引擎。此次大会,QingStor 正式对外公布这款文件系统——HydroFS。

Hydro 这个单词的本意是水利发电,如果把数据比做海洋或者湖泊,QingStor  希望 HydroFS 真正成为数据的基础设施,帮助企业最大化地发掘数据的价值,提高生产力。

整个 HydroFS 架构设计的一个非常重要的原则是对云原生架构友好。因为云原生应用是最大的目标场景,HydroFS 将会在云原生应用的整个底层架构起到存储资源池的作用,提供持久化存储的能力。另外,HydroFS 还会支持全容器化的部署以及和 K8s 生态统一化的运维方式。

作为一款云原生的文件系统,HydroFS 可以脱离于 QingStor 产品本身,完整地运行在 k8s 容器平台之上,通过 CSI 接口,为云原生应用提供支持多读多写模式等能力的全场景存储服务。

同时 HydroFS 还完整支持 FUSE 和 HDFS 接口协议,可以作为大数据系统的底层存储,为容器平台上的大数据和 AI 服务,提供一个无缝替换 HDFS 原生存储的方案。

从存储能力本身去看,HydroFS 可以做到整个存储空间的无限扩展;在性能层面做到高吞吐高可用机制非常完善;使用灵活,满足不同租户个性化需求的定制;业内第一款采用了 Rust 编程语言来实现的文件系统,充分地复用了 Rust 语言本身的系统安全及 IO 处理效率高的特点。

在业务处理层面,HydroFS 可以做到自适应块大小,针对不同类型的 IO 模式,针对不同类型的业务,可以选择多种 IO 模式,达到最高的效率;HydroFS 也可以支持 1 到 N 的副本数灵活可调。

整个 HydroFS 对于硬件资源的消耗、硬件资源的需求也是非常低的,只需要一些很常见的硬件、虚拟机、容器,就可以完成部署。HydroFS 对于网络的容忍度很高,在一些很普通的网络环境里,就可以完成整个系统的搭建工作。









全面拥抱开源开放


QingStor 从 2016 年起,就在 GitHub 的 QingStor 官方账号下,全部开源了围绕存储使用场景的工具;今年,除了为云原生应用而量身打造的云原生存储 NeonIO、全新分布式存储引擎 HydroFS 会在下半年正式对外开源,QingStor 团队还牵头组建了开源存储社区 BeyondStorage,专注于提供跨云数据服务的开源社区,秉承着代码完全开放,厂商完全中立,以用户为中心设计的原则。

目前 BeyondStorage 社区运作了超过四十个开源项目。上图右侧是社区的项目架构图,思路是首先构建出一套统一的存储抽象,然后向下对接各种各样的存储服务,进而向上为应用提供支持。

目前中心的接口层有一个 Golang 的实现,叫做 go-storage,最新的稳定版本是 v4.2.0。

go-storage 向下通过插件的方式,对接支持了市场上所有主流的云存储产品和服务,向上抽象了一套统一接口,应用开发者只需开发一次,就可以和下面的所有存储无缝对接。已经支持了包括 AWS、Google、阿里云、腾讯云等在内的 9 个服务的稳定版本。此外还有 FTP、Google Drive、IPFS 等 11 个服务正由社区贡献者开发中。

可以说 go-storage 是一个供应商独立的高性能存储开发库,社区基于这个开发库,在接口层之上构建应用层,生长出了数据迁移、数据管理、FTP、FUSE 等应用。例如 BeyondTP,它是一个跨云数据迁移的服务,可以提供线上到线下,公有云到私有云,以及不同的云之间等各种场景的数据迁移能力;并且还拥有一个用户友好的使用界面,方便配置操作。

QingStor 此次将多年来自主设计和自主研发的、经历了多年企业生产系统验证过后的系统,逐步开源,希望与社区开发者一同合作,推动整个分布式存储行业的技术进步。除此之外,QingStor 也以开放的态度在大生态上展开了广泛合作。

国内主流的芯片和操作系统,QingStor 都有完美的适配。在应用方向、存储周边及垂直领域,比如跟第二存储、数据湖、文件系统,包括跟金融应用软件厂商、国内外第三方容器厂商等,QingStor 也有很多生态战略方面的合作。








v4.0 大版本升级


在经历三个大版本迭代之后,QingStor 于今年正式发布 v4.0 大版本的产品升级。QingStor 家族的三款分布式存储产品——块存储、对象存储和文件存储都将迎来 4.0 版本升级。通过这次升级,QingStor 致力于打造一个可以支撑更大规模、更高性能且功能丰富的企业级分布式存储。

上文介绍的 NeonIO、HydroFS 分别作为 v4.0 的块存储、文件从存储的重大更新之外,整个 v4.0 升级还有更多亮点。

QingStor NeonSAN 在规划整个 v4.0 之初,就把工作重点放到超大规模云平台的构建以及存储本身的容灾能力提升这两个关键点上。

在 v4.0 里,QingStor NeonSAN 面向超大规模的集群架构优化,可以做到控制平面和数据平面均可以无限水平的扩展。除了提供更优的同步容灾方案之外,QingStor NeonSAN 还会发布一些企业常用的特性,如跨存储池的数据迁移、无损快照、链接克隆等。性能持续优化的同时,QingStor NeonSAN 关注运维维度,在 4.0 版本里也会带来很多的优化,其中包括智能化巡检和故障分析、一站式升级,企业存储版本可能在必要的时候会做关键的升级,升级的时候又如何确保 IO 的影响降到最低。

QingStor 文件存储 v4.0 版本将会在下半年正式发布,最大的变化在于通过 HydroFS 实现整个底层文件系统的架构升级,同时可以提供更加丰富的企业特性,包括 WORM、远程复制等功能,从而可以更好地满足多种类型企业业务的需求。

QingStor 对象存储 v4.0 围绕存储性能、海量存储以及场景化能力进行产品演进。

架构升级,性能提升超 50%,单位存储成本大幅下降。通过对服务进行 Rust 语言实现,带来极致安全的软件系统,同时进行 IO 精简,存储性能提升超 50%;在持续的压力测试中,对象存储 4.0,单节点下载带宽达到 4.5GB/s;GC 机制优化,使得集群空间回收速率翻倍,对于数据频繁写入删除的场景,能够更加轻松的应对,譬如视频监控类的业务;得盘率超 94% 的 EC 模式,相比三副本等传统模式,单位数据存储成本大幅降低。

场景化服务上,v4.0 新增 WORM、QoS、跨区域复制增强版等多项高阶功能,其中每项里都有针对业务场景的创新内容。

围绕海量存储,v4.0 推出了数据备份整体解决方案及冷数据的归档型服务。通过深度整合备份应用,QingStor 对象存储推出数据备份整体解决方案,解决数据孤岛、数据恢复缓慢等传统备份模式的问题。QingStor 对象存储推出归档型服务,针对冷数据提供使用简单,且更便宜、更可靠的服务,目的就是让原本因成本等因素被放弃的数据,能够被存储下来,并且可以发挥价值。









2021 年对于 QingStor 是具有里程碑意义的一年:

发布了两款为云原生应用而设计的企业级存储

并将全面拥抱开源社区

同时,正式发布 v4.0 大版本升级

其中的三款产品都进行了相应的升级

进一步提升全线产品的竞争力

满足企业客户的多样化需求

在产业数字化转型的浪潮中

扮演好云原生时代全栈存储服务提供商的角色




QingStor 团队正在招聘存储运维开发工程师、对象存储资深研发工程师、块存储资深研发工程师以及存储测试工程师,简历投递邮箱:bellawang@yunify.com

点击“阅读原文”查看招聘详情



- FIN -




点击这里加入 Qingstor 团队



关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接