酷应用

免费公测！青云大数据工作台正式发布，一键开启数据洞察之旅

百家作者：QingCloud 2022-05-26 23:47:40

数据，是产业数字化和物联网最重要的资源之一。

如何让数据平滑流转起来，并进行计算、分析和治理，从而驱动企业更高效地进行数字化转型和业务创新，是一件很重要也很有价值的事情。

为了打通大数据全链路，青云正式发布大数据工作台，通过为企业提供“数据上云、数据开发、数据同步、作业运维调度、引擎资源管理”等功能模块，降低企业大数据使用门槛，让非技术人员也能进行数据开发与治理，一键开启数据洞察之旅。

数据流转、计算、分析和治理面对的挑战

要让数据平滑流转起来，并进行计算、分析和治理，其中包括了几个方面：

一是数据同步。云平台已有的数据库、数据仓库、消息队列等服务中的数据，需要数据同步服务来打通彼此之间的孤立关系。对多源异构数据提供开放的数据集成能力，不仅能集成青云自己的数据源，还能集成企业自建的、甚至其他云平台的数据源。
二是实时计算。在 IoT 场景中，通过 IoT 采集网关将数据采集到统一的平台后，需要大数据平台对大量的设备数据、监控数据等进行分析、挖掘，最终转化为设备报告和流程优化相关的信息和知识。这种反馈实时性越高，对企业降本增效的效果会越好。
三是统一作业运维调度。任务调度系统已成为大数据平台不可或缺的一部分。任务量多、数据量大，容易导致前面的任务尚未结束或者失败，后面的任务也开始运行起来，最终跑出错误的分析结果。随着任务量的增加和依赖关系的复杂，企业对任务调度系统的需求越来越迫切。

此外，数据治理、数据资产管理、数据服务共享等需求同样迫切。

集合六大产品特性，青云大数据工作台发布

谈到数据集成、数据加工、数据服务，我们很容易想到数据中台。

目前市面上的数据中台主要以大项目定制的方式进行私有化交付，往往需要企业自己搭建、部署、实施、运维和升级，或者采用技术服务费用的方式购买整套大数据环境，成本高、周期长。当企业业务峰值超过预期时，还需要增加采购。

这一现状引发了我们的思考，是否可以在云端以一站式、便捷、低成本的方式，构建“云上数据中台”，充分发挥云资源按需付费、弹性扩容的优势，来解决数据层面的问题呢？

基于此，青云正式推出大数据工作台，即采用云原生架构的一站式智能大数据开发与治理平台，聚焦于数据使用场景，解决数据集成、流批一体计算、统一作业运维调度、数据服务共享等问题，实现数据在云平台各产品之间的快速流转，支撑上层业务应用，消除“数据孤岛”，统一调度和计算，帮助企业专注于数据价值的挖掘和探索，提升数据洞察能力。

接下来，通过一段产品视频，来感受打通大数据全链路的一站式数据开发体验，包括：兼容多种数据源、可视化数据集成、可视化数据开发和全托管 Flink 集群。

青云大数据工作台产品特性，主要有六点：

第一，云原生容器化架构

大数据工作台采用“公私一体”的架构，依托云原生 Kubernetes 屏蔽底层基础设施的能力，支持青云公有云、青云私有云、以及独立部署的方式。

第二，全托管流批一体引擎

云端全托管 Flink 集群，可以对海量数据进行亚秒级处理，支持流批一体的作业处理方式，能够覆盖多种业务场景。

第三，与数据存储无缝对接

内置 Connector 无缝对接消息队列、数据库、数据仓库、对象存储等云端数据存储类产品，按需拓展 Connector 对接各类外部数据系统。

第四，一站式开发与运维

大数据工作台作为一站式开发运维平台，提供了可视化数据开发 IDE，支持多语言开发模式，同时支持依赖包管理、UDF 管理辅助开发工作，一键提交，全托管调度，大幅节约开发成本和周期。

第五，多样化的调度策略

提供最小颗粒度为分钟级别的调度配置，调度周期支持单次执行、立即执行和周期执行等。

第六，细粒度的资源管控

最小资源使用粒度仅 0.5 CU，精细化资源管控，支持按量和包年/包月计费，价格低廉，安全稳定。

应对丰富的业务场景，驱动企业数“智”化转型

在场景上，青云大数据工作台支持四种标准化场景，分别是精细化运营分析场景、实时计算场景、可视化开发运维场景、构建数仓场景。目前这些场景已经在青云的客户中投入使用。

首先是精细化运营分析场景，主要面向中小型互联网或移动互联网客户。客户业务端积累大量的用户行为数据，需要做用户行为分析，从而为其用户提供更有针对性的服务。同时，客户大数据发展较为领先，会有数据安全和数据质量相关的需求。大数据工作台可以在用户画像、推荐、数据分析、大屏展示、数据治理等方面提供支持。

精细化运营分析场景架构图

其次是实时计算场景，主要面向对实时数据有加工处理需求的客户，如智慧工厂。客户通过消息队列统一数据标准，由大数据工作台来执行计算任务处理，对增量热数据和全量数据进行分类处理、分类展示和应用。大数据工作台可以在 IoT 终端实现实时数据分析、实时用户日志分析、实时运营数据分析、实时风控等方面提供支持。

实时计算场景数据场景架构图

第三是可视化开发运维场景，主要面向以学习或者科研为目标的客户。客户使用科研数据，利用大数据计算引擎对数据的成员和权限管理进行分工协作，进行多维分析和计算，通过计算引擎和实时数据处理，挖掘数据模型，输出科研分析报告等。大数据工作台可以在数据 ETL、数据挖掘等方面提供支持。

可视化开发运维场景架构图

最后是构建数仓场景，主要面向在青云云平台上使用了消息队列、数据库、数据仓库、大数据计算存储的客户。客户将数据按照不同的业务线或数据类型存放在不同的数据存储介质中，需要做不同介质间的同步传输，或者需要汇聚到统一的数据仓库或大数据存储中，进行下一步的数据计算和分析。大数据工作台可以在数据集成、实时或离线计算、数据存储等方面提供支持。