和大部分分布式系统一样(如:Hbase,Hdfs),Manager是DataLink集群正常运行的必要条件,其担负的主要功能如下:

整个Datalink集群的【负载均衡】都需要依赖于Manager提供的GroupCoordinator,这也是Manager最核心的功能。

Manager端运行了数个Monitor,用来对集群进行立体化的监控,主要监控指标有:

• 同步延迟监控报警
• 同步异常监控报警
• 任务运行状态监控报警
• 机器运行状态监控报警
• 机器内存监控报警
• 机器系统监控

Manager提供了web模块,用于对整个集群进行管理,主要的管理模块有:

• 集群管理:主要对分组和机器进行管理
• 介质管理:主要对各种类型的数据源进行配置管理
• 增量任务:主要对实时增量数据同步任务进行管理
• 全量任务:主要对离线全量数据同步任务进行管理
• 监控管理:主要进行监控指标配置和监控数据展现
  此外Manager内部还实现了一些定时任务,对集群进行一些自动化运维的工作

Manager提供了若干HTTP接口用来为外提供服务,这些服务的调用者主要分两类:

• Worker:Worker和Manager之间非Reblance类型的通信,走的都是http通道
• 外部系统:外部系统如果需要访问datalink集群,都是通过调用Manager的服务接口实现的

• manager的高可用目前采用的是主备模式,通过抢占zk节点实现,具体实现逻辑可参见:com.ucar.datalink.manager.core.server.ServerStatusMonitor
• startup.sh中还实现了宕机自检功能,通过linux的cron机制实现,当出现manager进程意外终止时,可以实现自动重启
• 对于http请求,Manager还提供了路由转发功能,当我们请求standby-manager时,请求会被转发到active-manager
  zk-manager

下面对manager.properties的主要运行参数进行介绍