Java springboot

• Language: Java 8
• Environment: MacOS, 16G RAM
• Database: Mysql5.7

• 使用springboot启动datax,不再需要用python启动。
• 以restful接口启动datax作业

• springboot重构项目
• 通过restful接口调度datax完成抽取数据作业
• 通过restful接口传入job配置json生成临时文件,根据文件配置调度datax执行该作业
• 集成swagger,方便调试
• 集成mybatis plus和Mysql数据库存放应用数据
• 网页端修改并持久化job配置的json到数据库
• 网页端实时查看抽取日志,类似Jenkins的日志控制台输出功能
• 网页端各种读写插件模板生成,可以在页面组装使用
• 精简assembly打包结构
• 实现datax分布式作业
• 实现部分写插件支持自动建表功能

• 查看作业日志

• 配置数据源

• 根据数据源读取表字段

• 启动一个配置好的作业

github地址

即图中显示的目录

 export DATAX_HOME=/openSource/AliBabaDataX/target/datax/datax

数据库名 datax_web (与 配置文件中要一致) 配置文件在 datax-web 模块下的 \src\main\resources\application.yml

etlLogDir: /temp/datax-web/

在此工程的根目录下执行命令

mvn clean install -DskipTests

 java -DDATAX_HOME=/Users/huzekang/openSource/AliBabaDataX/target/datax/datax -jar datax-web-0.0.1-SNAPSHOT.jar

如果没在环境变量里配置DATAX_HOME,在启动命令中像上面这样带上也是可以的