酷应用

openLooKeng新版本1.6.0上线！更高的性能提升，更好的服务开发者！

应用作者：华为开发者社区 2022-04-06 20:59:44

新版本1.6.0正式上线

小荷才露尖尖角，早有蜻蜓立上头，在这个万物生发的季节，openLooKeng迎来全新版本的升级，在openLooKeng开发团队和社区开发者共同努力下， openLooKeng v1.6.0新版本正式发布，新版本1.6.0在原基础上进行了一些优化，并提供一些新功能，来提升引擎性能。

新版本1.6.0在数据持久化、低时延、连接器、Task Recovery等方面做出了优化，无论是性能提升、可靠性、还是创新方面，都是干货满满。下面就带大家快速浏览openLooKeng新版本1.6.0的关键特性。

数据持久化

对于数据持久化，新版本1.6.0做了如下一些优化：

特性名称		场景介绍
优化计算过程数据下盘速度和大小		当在HashAggregation（聚合算法）和GroupBy（分组）期间发生溢出时,序列化到磁盘的数据会很慢,而且大小也会更大。因此可以通过减小大小和提高写入速度来提高整体性能。使用kryo序列化可以提高速度并减小溢出写盘文件大小
支持溢出到hdfs上		目前计算过程数据可以溢出到多个磁盘,现在支持溢出到hdfs以提高吞吐量
异步溢出/不溢出机制		当可操作内存超过阈值并触发溢出时,会阻塞接受来自下游运算符的数据。接受数据并加入到现有溢出流程将有助于更快地完成任务
支持右外连接&全连接场景下的溢出写盘		当连接类型为右外连接或全连接时,不会溢出构建侧数据,因为需要所有数据在内存中进行查找。当数据量较大时,这将导致内存溢出。因此，通过启用溢出机制并创建一个布隆过滤器来识别溢出的数据,并在与探查侧连接期间使用它

连接器增强

特性名称		场景介绍
PostgreSQL/ openGauss连接器支持更新和删除操作		增强PostgreSQL和openGauss连接器，支持对数据源进行更新和删除操作

低时延

特性名称		场景介绍
Star Tree 索引支持更新 Cube		支持cube更新命令,允许管理员在基础数据更改时轻松更新现有cube的内容
启发式索引优化		优化布隆过滤器索引大小使缩小十倍以上

Task Recovery

特性名称		场景介绍
优化执行失败检测时间		当前需要300秒来确定任务失败,然后继续运行。改进这一点将改善执行流程和整体查询时间
快照时间和大小优化		当执行过程中使用快照时,当前直接使用Java序列化,速度很慢,而且需要更多的空间。使用kryo可以减小文件大小并提升速度来增加总吞吐量