星环科技产品迭代背后:既引领潮流,也把技术做到最好
刚刚结束的星环科技2021新品发布媒体沟通会上,创始人兼CEO孙元浩在介绍产品的过程中,手腕上的智能手表主界面也时不时一闪而过,上面醒目的显示未来持续的天气变化情况,这无疑也侧面反映出了孙元浩与这家公司喜欢放眼未来的性格。
而在星环科技连续多个版本持续引领潮流走向的同时,还有着把技术做到最好的坚持,该公司刚刚发布的一系列新版本产品就是证明。
引领潮流走向
与很多公司的产品发布会略有不同的是,作为整场发布会的开始,星环科技创始人兼CEO孙元浩对于公司的大数据技术架构演进图情有独钟,花费大量的篇幅向与会者诉说着星环科技在每一次产品迭代中的成长史,同时也是星环科技一次又一次大胆引领大数据领域走向的过程。
“我们认为需要原创,不怕走新的路,幸运的是这么多技术选择下来,我们每次都选对了方向。”孙元浩在近期的一次媒体采访环节略带谦虚的说。
不过,谈到此前的方向选择故事,却足值得孙元浩感到骄傲。他回忆称:“2014年底的某个大会上,我说要把YARN资源调度器废弃掉,当时外界都觉得在大放厥词。”
当时,星环科技早早选择了这一技术路线,原因是认为技术架构是一定漂亮简洁且有生命力的,于是开始采用容器化的方案,从2015年开始推出第一个版本,到2017年的TDH 5.0版本中完成全部改造,星环科技将自研的资源调度器放在底层,通过容器化的方案融入到大数据平台当中,用容器来做CPU调度、网络调度、存储调度,实现资源的隔离,用来取代资源调度器YARN。
据孙元浩介绍,选择这一方向,当时在公司内外部都面临着极大阻力,因为仅有星环科技一家公司如此。但最终时间证明了一切,到2019年,业界大部分公司也均开始采用这种方案。
星环科技另一项引领在于分布式数据管理系统。此前计算与存储的无法分离,计算引擎和存储引擎部署与数据文件系统上,造成数据库非常低效。
星环科技从一开始就采用分布式架构解决这一问题。在2020年发布的TDH 7.0版本上实现了计算与存储的分离,引入了统一SQL编译器和统一分布式计算引擎。
无疑,星环科技在此前版本迭代的同时,也在引领着大数据领域的发展走向。
而今,业界对于这家公司的认知,也开始从“大放厥词”变为了“技术领先”,随之而来的还有产品系统中自研比例的逐步升高。
值得注意是,不少公司在引领的过程中,由于突破性创新往往无法实现落地表现的最优,然而星环科技却同时把技术做到了最好。
把技术做到最好
分层解耦与统一计算框架是云时代普遍的共识,星环科技也早早的看到了这样的趋势。
在上周刚刚发布的TDH8.0版本中,星环科技在继续在引领行业走向的同时,还把技术做到了最好。
最显著的证明便是TDH 8.0解决了如今“单一模型数据库多个并用”模式所面临的诸多难题,同时还在性能上实现对旧有模式的超越。
TDH 8.0版本中实现了横向与纵向的解耦合,如上图所示其五层结构间均可实现解耦合,让每一次都可实现独立扩展,例如可以实现两个计算层和存储层,或是独立的集群。
同时,存储引擎中还实现了纵向的解耦合,让分开后用不同存储引擎时的效率更高。
另外由于不同的存储引擎是不同的索引,同一份数据也可以用不同的存储引擎来存储,通过星环科技的计算层和接口层,可以自动去选择最佳的存储引擎来服务用户的查询,进而实现更好的性能。
统一计算框架大大降低了用户的开发难度,TDH 8.0通过8种异构存储引擎支持业界领先的10种存储模型,(8种存储引擎分别为:关系型数据存储引擎、宽表存储引擎、搜索引擎、地理空间存储引擎、图存储引擎、键值存储引擎、事件存储引擎和时序存储引擎)自动化应对多部门业务需求,能够支撑用户各种高阶的数据分析场景,帮助用户完成数据自动化管理,实现业务价值。
通过统一计算引擎层让用户无需知晓存储引擎上面的底层细节,可以用同一种语言来实现开发。
在实现了对于Relational、Key-Value、Graph、Search Engine、Wide Column、Text.XML,Json、Object、Geospatial、Time Series、Event全部主流数据模型支持的同时,配合存储和计算完全解耦合的特性,存储引擎可以像插件一样进行增加,根据业务的变动,按需创建新模型,按需申请计算和存储资源。
任务的生命周期结束时,可以释放占用的计算和存储资源,回收到集群资源池中。
对于这一多模型概念,相比业界其它产品,星环科技实际上采用了最不偷懒的开发策略,通过统一的SQL编译器、统一的计算引擎、统一的数据管理与统一的资源调度,用不同的存储引擎来实现存储的异构,进而获得了集开发、运维、性能三方面均具备明显优势的成果。
例如,Oracle与IBM DB2未能实现计算与存储的解耦合,支持的数据类型也有限;MongoDB和MySQL尽管支持多种数据模型但却是同一个存储引擎,使得扩展性和性能无法达到最佳;另外还有如Couchbase、Marklogic选择在多种数据引擎和数据库上包装一个接口,但造成开发十分困难。
产品体系全面升级
于此同时,星环科技整个产品体系中的分布式关系型数据库、数据开发与智能分析、大数据云平台也均迎来了全面升级,具备了为用户提供数据全生命周期的开发和管理技术的能力。
分布式关系型数据库ArgoDB3.0 与kunDB 2.0相比此前版本实现了计算性能成倍提升,其中分布式分析型数据库ArgoDB 3.0相较于2.0版本,性能再度提升达到5倍以上。
分布式交易型数据库KunDB 2.0相比1.5版本在TPC测试中的成绩提升了接近两倍。
星环科技还推出了ArgoDB与KunDB的整体解决方案,为用户同时提供TP和AP两种能力,对外统一了SQL入口,无需对应用改造,实现对TP类业务和复杂分析的统一处理。
同时,统一计算横跨交易型数据库和列存分析型数据库,不存在数据同步流转,保障了数据的一致性与分析实效性。
数据开发与智能分析产品Transwarp Data Studio升级至2.2 版本、Sophon升级至2.7版本。
TDS 2.2旨在通过数据的全生命周期管理能力,加速企业数字化建设进程。新版本具备四个核心能力:数据联邦、智能化数据治理能力、优秀的团队协作能力、分布式架构设计。
与 TDS 1.x版本相比,新版本新增了两个子产品,一个是数据质量管理工具 Governor,用于管理数据从获取到消亡每个阶段里可能引发的数据质量问题。
另一个是数据商城 Transwarp Foresight,它整合了 TDS 的数据服务开发工具 Midgard 和标签开发工具 StarViewer,为业务人员提供数据资产的检索、下载、共享的能力,结合着数据血缘帮助数据使用者、开发者和管理者做整体协同,构建其数据运营能力。
Sophon 2.7 LTS带来了三大子产品线,分别是数据科学平台Sophon Base 2.7 LTS、知识图谱Sophon KG 2.7 LTS,以及边缘计算平台 Sophon Edge 2.7 LTS。
相比上一版本,性能大幅提升,相应时间提升5-50倍,吞吐量提升35-160倍。功能也得到进一步扩展,支持星环科技数据云等服务。并且专门针对人工智能应用增加了可靠性与安全性功能。
大数据云平台Transwarp Data Cloud为众多客户数字化转型提供安全、便捷的、完整的数字化建设解决方案。
新的TDC 2.4版本拥有五大特性:统一支持多种业务类型的工作负载、云原生调度实现数据与计算局部性、分布式计算执行单元场景化扩缩容、支持GPU多租户共享调度、支持异构CPU和操作系统混合部署。
当下,星环科技的产品正在持续为运营商、政府、金融等各行业客户提供超强数据力,同时也在继续为数据领域提供技术引领力。
谈及未来,星环科技高级产品专家宋宇表示:“我们相信,从大型企业和机构,到小微企业,再到个人开发爱好者,都可以通过便捷接入的方式,友好的开发环境,轻松的搭建、开发、运维自己的数据平台和应用。”无疑,这绝对是一个鸿鹄之志般的理想,而星环科技也正在一步步让它从科幻变为科技现实。
内容推荐
革命性软硬件铸就行业助推器,星环科技英特尔英雄所见略同
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- 1 澳门是伟大祖国的一方宝地 7918344
- 2 女子穿板鞋爬山回家脱鞋时被吓一跳 7973169
- 3 张雨绮 为了讨大家喜欢才穿成这样 7816770
- 4 2024 向上的中国 7774498
- 5 72岁老人3年拍100部短剧 7693134
- 6 免费升级宽带后家里成“电诈中心” 7500212
- 7 90%烧伤男生父亲:对方让我高抬贵手 7417973
- 8 9岁女孩胃里取出直径4厘米头发团 7380109
- 9 春熙路不能随便开直播了 7291573
- 10 男子网贷1000元3天内需还2000元 7179176