
小荷才露尖尖角,早有蜻蜓立上头,在这个万物生发的季节,openLooKeng迎来全新版本的升级,在openLooKeng开发团队和社区开发者共同努力下, openLooKeng v1.6.0新版本正式发布,新版本1.6.0在原基础上进行了一些优化,并提供一些新功能,来提升引擎性能。
新版本1.6.0在数据持久化、低时延、连接器、Task Recovery等方面做出了优化,无论是性能提升、可靠性、还是创新方面,都是干货满满。下面就带大家快速浏览openLooKeng新版本1.6.0的关键特性。
对于数据持久化,新版本1.6.0做了如下一些优化:
| |
| 当在HashAggregation(聚合算法)和GroupBy(分组)期间发生溢出时,序列化到磁盘的数据会很慢,而且大小也会更大。因此可以通过减小大小和提高写入速度来提高整体性能。使用kryo序列化可以提高速度并减小溢出写盘文件大小 |
| 目前计算过程数据可以溢出到多个磁盘,现在支持溢出到hdfs以提高吞吐量 |
| 当可操作内存超过阈值并触发溢出时,会阻塞接受来自下游运算符的数据。接受数据并加入到现有溢出流程将有助于更快地完成任务 |
| 当连接类型为右外连接或全连接时,不会溢出构建侧数据,因为需要所有数据在内存中进行查找。当数据量较大时,这将导致内存溢出。因此,通过启用溢出机制并创建一个布隆过滤器来识别溢出的数据,并在与探查侧连接期间使用它 |
| |
PostgreSQL/ openGauss连接器支持更新和删除操作 | 增强PostgreSQL和openGauss连接器,支持对数据源进行更新和删除操作 |
| |
| 支持cube更新命令,允许管理员在基础数据更改时轻松更新现有cube的内容 |
| |
| |
| 当前需要300秒来确定任务失败,然后继续运行。改进这一点将改善执行流程和整体查询时间 |
| 当执行过程中使用快照时,当前直接使用Java序列化,速度很慢,而且需要更多的空间。使用kryo可以减小文件大小并提升速度来增加总吞吐量 |
注释:Kryo:是一个快速序列化/反序列化工具,依赖于字节码生成机制(底层使用了 ASM 库),因此在序列化速度上有一定的优势
以上便是新版本1.6.0的优化。作为大数据的关键项目,openLooKeng依旧保持着3个月一个版本的迭代速度,致力于为用户提供极速极简的数据体验。欢迎大家使用。
如果您在使用openLooKeng过程中,有任何疑问与建议, 请在社区代码仓中提Issue,欢迎添加小助手微信,进入openLooKeng技术交流群
openLooKeng代码仓地址:
https://gitee.com/openlookeng
https://github.com/openlookeng
如果您对新版本1.6.0有任何建议,随时欢迎添加小助手微信
社区公众号|openLooKeng
社群小助手|openLooKengoss

戳“阅读原文”,获取更多精彩内容
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/