酷应用

中小型研发团队架构实践之任务调度Job

百家作者：聊聊架构 2017-11-02 10:40:31

作者｜张辉清、杨丽

编辑｜雨多田光

文末有 demo 下载

一、Job 简介

Job 类似于数据库中的作业，多用于实现定时执行任务。适用场景主要包括定时轮询数据库同步、定时处理数据、定时邮件通知等。

我们的 Job 分为操作系统级别定时任务 WinJob 和 HttpJob，其中，WinJob 使用开源的任务调度框架 Quartz.NET+ ZooKeeper 实现，HttpJob 的服务端是自主开发实现的，可以直接定时调用你的计划任务如微服务。下面分别予以介绍。

二、WinJob

WinJob 使用 Quartz.NET+ZooKeeper 来实现，Quartz.NET 实现调度，ZooKeeper 使用 MasterElection 来实现高可用，解决单点问题。ZooKeeper 后继有文章单独介绍，这里重点介绍 Quartz.NET 框架的使用。

Quartz.NET 是一个全功能的开源任务调度框架，通过简单的配置就可以实现强大的任务调度功能，使得开发人员不用过多关注任务的调度，只用关注项目的业务逻辑。使用任务调度框架的价值：

1、提高开发效率：开发人员只需要编写业务代码，而具体的任务调度只需要通过配置就可以实现。

2、提高软件的可靠性：同一应用多个任务之间可以很好的隔离起来，互不影响。

3、降低开发人员成本和开发复杂度：开发人员不需要对线程、Timer 很了解，就能实现一个强大的执行计划应用。

4、容易迁移：只需实现 Quartz.IJob 接口即可，调用一次业务逻辑的入口即可。

5、容易扩展：新业务只需增加配置即可。

基于 Quartz.NET 实现 Job 调度的方法：

在后端服务声明实例化一个调度器，在启动服务的时候启动调度器，相应的代码如下所示：

///          
/// 当前调度服务的调度器         
///          
public IScheduler CurrentSched 
{ 
   get; private set; 
}
public JobService()         
{    
   InitializeComponent();  

   StdSchedulerFactory schedulerFactory = new StdSchedulerFactory();                
   CurrentSched = schedulerFactory.GetScheduler();       
}        
protected override void OnStart(string[] args)        
{    
   CurrentSched.Start();                 
   logger.Info("调度服务成功启动！");         
}

创建相应的任务和触发器，之后把任务和关联的触发器加入之前声明的调度器 CurrentSched，相应的代码如下所示：

///          
/// 演示一个任务多触发器的使用        
///          
private static void JobWithManyTriggerDemo()         {                 
    IJobDetail simpleJob = JobBuilder.Create().WithIdentity("任务名称", "任务组名").Build(); // 创建一个 simpleJob 任务                 
    ITrigger simpleTrigger = TriggerBuilder.Create().WithIdentity("触发器名称 3", "触发器组名").StartNow()        
        .WithSimpleSchedule(x => x.WithIntervalInSeconds(5).RepeatForever()).Build();   // 创建一个简单触发器，每隔 5 秒执行一次         

    CurrentSched.ScheduleJob(simpleJob, simpleTrigger);    // 把 simpleJob 任务、简单触发器加入调度器         

    ITrigger cronTrigger = TriggerBuilder.Create().WithIdentity("触发器名称 4", "触发器组名").StartNow()        
        .WithCronSchedule("/10 * * ? * *").ForJob(simpleJob).Build();   // 创建一个为任务“simpleJob”服务的 Cron 触发器，每隔 10 秒执行一次       

     CurrentSched.ScheduleJob(cronTrigger);   // 把 Cron 触发器加入调度器         
}

在业务逻辑层继承 IJob 接口，并实现 Execute 方法，在该方法内实现需要调度的业务逻辑，相应的代码如下所示：

///      
/// 简单任务     
///      
public class SimpleJob : IJob     
{             
    ILog logger = LogManager.GetLogger(typeof(SimpleJob));    
    public void Execute(IJobExecutionContext context)                 
    {       
        Console.WriteLine("简单的任务演示！" + DateTime.Now.ToString("HH:mm:ss"));       
        logger.Info("简单的任务演示！" + DateTime.Now.ToString("HH:mm:ss"));                    
        // 业务逻辑处理                    
        Thread.Sleep(2000);             
     }     
}

三、HttpJob

通过自主开发的 JobServer，结合自主开发的 Job 集中式管理平台，可以实现满足绝大部分场景的 Job 调度。这种 Job 调度使用方式使你只需关注实现业务系统的业务逻辑部分即可，无需在业务系统中额外关注如何使用 Quartz.NET。

3.1、HttpJob 的服务端实现

JobServer 实现的主要逻辑：

1、借助 Quartz，可实现多个线程（如 10 个线程）同时调用多个 HttpJob；

2、实现了 Get、Post、Head 三种方式的请求；

3、借助 ZooKeeper的 MasterElection 来实现高可用，实现自动主备切换；

4、记录日志，方便追踪。

3.2、HttpJob 的后台——Job 集中式管理平台

在集中式 Job 管理平台中，配置相应的 Job 信息。配置完 Job 信息后，JobServer 获取到这些 Job 信息后，就能够定时执行这些 Job。要配置的 Job 信息包括 Job 的任务名称、任务组名、请求地址、请求类型、开始时间、触发器类型、次数、间隔时间 (s)、Cron-Like 表达式以及状态。

其中请求地址就是 JobServer 实际定时调用的任务的 http 地址，例如 HttpJobDemo 的 WebForm1.aspx 这个任务的运行地址 http://localhost:10786/WebForm1.aspx。

3.3、采用 HttpJob 进行任务调度的优势和约束

采用 HttpJob 的优势：

1、高可用：借助网站集群巧妙地解决 Job 服务的单点问题。

2、方便发布：不用重启 Job 服务。

3、减少依赖，易学易用，不用关注线程、Windows 服务方面的知识。

4、数据分片，可以采用 URL 来取模 + 多个 HttpJob。

采用 HttpJob 的约束：

1、由于请求 HttpJob 的最长响应时间是 30 秒，所以 Job 运行时间一旦超过 30 秒，则建议为 Job 先创建异步线程，立即返回。

2、Job 调度的频率最少间隔时间是 1 分钟，因为通过 HttpJob 通知并不是件高效的事情。

3、为了安全应建立专业的 Job 集群，一般两台即可，外部不可访问，SLB 采用简单轮询方案。

4、新增及修改 Job 配置，10 分钟生效。

四、Cron 表达式

Cron 表达式格式：秒分时日月周年（可选）。要遵守的规范请见下表：

五、Demo 下载及更多资料

WinJobDemo 下载地址：
https://github.com/das2017/QuartzDemo
HttpJobDemo 下载地址：
https://github.com/das2017/HttpJobDemo
Quartz.NET 官网：
http://www.quartz-scheduler.net/
Quartz.NET 开源网址：
https://github.com/quartznet/quartznet

本系列文章涉及内容清单如下（并不按这顺序发布），其中有感兴趣的，欢迎关注：

开篇：中小型研发团队架构实践三要点
缓存 Redis
消息队列 RabbitMQ：如何用好消息队列RabbitMQ？
集中式日志 ELK
任务调度 Job
应用监控 Metrics：应用监控怎么做？
微服务框架 MSA
搜索利器 Solr
分布式协调器 ZooKeeper
小工具：
Dapper.NET/EmitMapper/AutoMapper/Autofac/NuGet
发布工具 Jenkins
总体架构设计：电商如何做企业总体架构？
单个项目架构设计
统一应用分层：如何规范公司所有应用分层？
调试工具 WinDbg
单点登录
企业支付网关
结篇

作者介绍

张辉清，10 多年的 IT 老兵，先后担任携程架构师、古大集团首席架构、中青易游 CTO 等职务，主导过两家公司的技术架构升级改造工作。现关注架构与工程效率，技术与业务的匹配与融合，技术价值与创新。

杨丽，拥有多年互联网应用系统研发经验，曾就职于古大集团，现任职中青易游的系统架构师，主要负责公司研发中心业务系统的架构设计以及新技术积累和培训。现阶段主要关注开源软件、软件架构、微服务以及大数据。

基于 STS 和 JWT 的微服务身份认证

国际化架构体系架构、大数据平台架构、微服务架构、数据库架构等等，在这场全球架构师峰会里，我们邀请到 Microsoft、Google、Facebook、Twitter、Uber、Tumblr、Twitch、Snapchat 等资深架构师为你一一解惑。目前大会 9 折报名最后一周，上百个技术案例，欢迎点击阅读原文了解。