Apache DolphinScheduler如何部署？

1. 分布式易扩展的可视化工作流任务调度平台

Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用

2. 后端部署

参考

工作流任务调度系统：Apache DolphinSchedulerblog.csdn.net/github_39577257/article/details/102783298

2.1 基础环境

Mysql (5.5+) : 必装

JDK (1.8+) : 必装

ZooKeeper(3.4.6+) ：必装

Hadoop(2.6+) ：选装， 如果需要使用到资源上传功能，MapReduce任务提交则需要配置Hadoop(上传的资源文件目前保存在Hdfs上)

Hive(1.2.1) : 选装，hive任务提交需要安装

Spark(1.x,2.x) : 选装，Spark任务提交需要安装

PostgreSQL(8.2.15+) : 选装，PostgreSQL PostgreSQL存储过程需要安装

2.2 部署步骤

创建部署用户

服务器下载解压

ssh免密配置

数据库初始化

执行创建表和导入基础数据脚本

执行脚本一键部署

2.3 服务进程的说明

由前面我们可以看到，后端服务正常启动后，共有 5 个进程：WorkerServer、ApiApplicationServer、MasterServer、AlertServer、LoggerServer。

3. 使用

快速入门

浏览器访问http://192.168.33.6:8888，如下图所示。

创建一个队列。队列管理 -> 创建队列 -> 输入名称和队列值 -> 提交

创建租户。租户管理 -> 创建租户 -> 输入租户编码、租户名称和队列值 -> 提交。

建普通用户。用户管理 -> 创建用户 -> 输入用户名称、密码、租户名和邮箱，手机号选填 -> 提交。

4. 与 Azkaban 的对比

5. 总结

Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统

从上面的安装可以看到这个调度系统集成了ZooKeeper，很好的实现了去中心化，每个角色的服务可以起多个，从znode上可以看到masters和workers的一些元信息都注册在了上面，交由ZK去选举，当然它也是一个分布式的

如果某个服务挂了，ZooKeeper会在剩下的其它节点进行选举

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/