a. DataLink为纯java编写,windows/linux/Mac均可支持
b. jdk建议使用1.8以上的版本,稳定可靠,目前DataLink使用1.8版本

整个DataLink数据同步由Manager和Worker两部分组成,分别需要预先进行安装

DataLink依赖于Zookeeper进行分布式调度,需要安装一个Zookeeper节点或者集群

Datalink的运行需要依赖各种配置信息、以及在运行过程中会动态产生监控和统计数据,统一保存到Mysql中

DataLink运行需要依赖各种配置信息统一用Mysql存储,所以需要预先安装mysql,并初始化DataLink Manager的系统表结构
a. 安装mysql
b. 初始化DataLink Manager系统表:
//下载数据库脚本文件:
wget https://github.com/ucarGroup/DataLink/blob/master/dl-biz/src/main/resources/biz/sql/ucar_datalink.sql
//导入数据库脚本:
source ucar_datalink.sql

DataLink Manager的高可用依赖于zookeeper,所以需要预先安装zookeeper.
a. manager需要在manager.properties中指定zookeeper集群地址,格式:ip:port,ip:port,...

//直接下载 ,可访问: https://github.com/ucarGroup/DataLink,会列出所有历史的发布版本包下载方式
or
//将项目的Git仓库复制一份出来
git clone git@ github.com/ucarGroup/DataLink.git
//在项目根目录下打包
mvn clean package -Dmaven.test.skip=true
打包完成后,会在根目录下产生target文件夹,下面包含dl-manager子文件夹和dl-manager.tar.gz,这里使用dl-manager子文件,也可以将dl-manager.tar.gz解压之后使用。

cd /target/dl-manager/conf
//根据需要修改zk与数据库配置

(1)设置zk的地址:
manager.properties里面zk的默认配置如下
zookeeper.servers=localhost:2181
注:若zk没有在本机器启动,需要将localhost设置为zk所在机器的ip
(2)设置ucar_datalink数据库的ip、用户名、密码:
datasource.properties里面数据库的默认配置如下
datasource.url=jdbc:mysql://localhost:3306/ucar_datalink
datasource.username=root
datasource.password=722b14aca98fcafe
注:将localhost设置为ucar_datalink所在机器的ip,密码设置为通过DbConfigEncryption的encrypt方法加密之后的值。

DataLink Worker会受DataLink Manager进行管理,所以需要预先按上述步骤安装DataLink Manager。

完成Manager安装后,需要在Manager页面为Worker配置信息
a. 由于每个Worker都属于一个分组,所以首先新增分组信息:访问Manager页面的集群管理/分组管理页面,点击新增按钮添加分组:

group
b.访问Manager页面的集群管理/机器管理页面,点击新增按钮添加机器:

worker
几点说明:
分组名称和机器名称可以随意定义,方便自己记忆即可
所属分组:每个Worker节点都有唯一一个所属的分组
机器ip:对应Worker节点将要部署的机器ip
Rest端口:对应Worker节点提供rest服务的端口,建议值:8083
注:原则上允许单机多Worker指定不同的端口,通过client.id显示指定Worker,但是在非开发环境为了简化运维成本,一台机器上部署一个Worker,这样,可以通过IP反查来定位Worker。

//直接下载 ,可访问: https://github.com/ucarGroup/DataLink ,会列出所有历史的发布版本包下载方式
or
//将项目的Git仓库复制一份出来
git clone git@ github.com/ucarGroup/DataLink.git
//在项目根目录下打包
mvn clean package -Dmaven.test.skip=true
打包完成后,会在根目录下产生target文件夹,下面包含dl-worker子文件夹和dl-worker.tar.gz,这里使用dl-worker子文件夹。

cd /target/dl-worker/conf
//根据需要修改worker.properties中的manager和zk配置,以及其他配置

(1)设置manager配置
#datalink-manager
bootstrap.servers=localhost:8898,localhost:8899
注:若manager没有在本机启动,则需要将localhost设置为manager所在机器的ip
(2)设置zk配置
#zookeeper
zookeeper.servers=localhost:2181
注:若zk没有在本机器启动,需要将localhost设置为zk所在机器的ip
其他配置默认如下:
#worker运行模式,distributed/standalone
worker.bootMode=distributed
zookeeper.session.timeout.ms = 30000
zookeeper.connection.timeout.ms = 10000
注:Worker支持两种启动方式:standalone和distributed,前者启动时只依赖于数据库,后者启动时需要同时依赖数据库、datalink-manager和zookeeper

sh /target/dl-worker/bin/startup.sh

more /target/dl-worker/logs/worker/worker.log

2018年09月18日 08:08:09.071 [main] INFO com.ucar.datalink.worker.core.runtime.WorkerController - Worker Controller started.
2018年09月18日 08:08:09.071 [main] INFO com.ucar.datalink.worker.core.boot.WorkerBootStrap - ## the datalink worker is running now ......