airflow-console: Airflow Dag可视化编辑和管理

代码拉取完成,页面将自动刷新

richgiteeai

Watch

不关注关注所有动态仅关注版本发行动态关注但不提醒动态

1 Star 1 Fork 0

weshare/airflow-console

代码 Issues 0 Pull Requests 0 Wiki 统计流水线

服务

加入 Gitee

与超过 1400万开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)

免费加入

已有帐号? 立即登录

该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。

项目仓库所选许可证以仓库主分支所使用许可证为准

克隆/下载

HTTPS SSH SVN SVN+SSH 下载ZIP

提示

下载代码请复制以下命令到终端执行

为确保你提交的代码身份被 Gitee 正确识别,请执行以下命令完成配置

git config --global user.name userName 
git config --global user.email userEmail

初次使用 SSH 协议进行代码克隆、推送等操作时,需按下述提示完成 SSH 配置

1 生成 RSA 密钥

2 获取 RSA 公钥内容,并配置到 SSH公钥中

在 Gitee 上使用 SVN,请访问使用指南

使用 HTTPS 协议时,命令行会出现如下账号密码验证步骤。基于安全考虑,Gitee 建议配置并使用私人令牌替代登录密码进行克隆、推送等操作

Username for 'https://gitee.com': userName

Password for 'https://userName@gitee.com': # 私人令牌

新建文件新建 Diagram 文件

新建子模块

上传文件

分支 15

标签 0

贡献代码

同步代码

创建 Pull Request

了解更多

对比差异通过 Pull Request 同步

同步更新到分支

通过 Pull Request 同步

将会在向当前分支创建一个 Pull
Request,合入后将完成同步

ryanmiao add readme 77b681d

6 次提交

airflow-ext-api

airflow-ext-web

doc

.gitignore

readme.md

README

Airflow Console
================

https://github.com/Ryan-Miao/airflow-console

[Apache Airflow](https://github.com/apache/airflow)扩展组件,
可以辅助生成dag, 并存储到git仓库.

Airflow提供了基于python语法的dag任务管理,我们可以定制任务内容
和任务依赖. 但对于很多数据分析人员来说,操作还是过于复杂. 期望可以
通过简单的页面配置去管理dag. 
即本项目提供了一个dag可视化配置管理方案.

## 如何使用

见博客[Airflow Dag可视化管理编辑工具Airflow Console](https://www.cnblogs.com/woshimrf/p/airflow-console.html)

### 一些概念

**DAG**: Airflow原生的dag, 多个任务依赖组成的有向无环图, 一个任务依赖链。

**Ext Dag**: DAG扩展, DAG生成模板,通过页面配置Ext Dag可以一键生成DAG python配置。

**Ext Dag Category**: Airflow原生不提供分类的概念,但Console我们扩展了分类功能, 我们创建不同Dag模板可以分属于不同的DAG分类。

**Ext Dag Task**: Ext Dag的任务,真正任务的封装体,分为Operator和Sensor, 可以组装成Ext Dag.

### 1.创建业务分类.

我们的调度任务可以根据业务进行分类. 首先创建我们的业务类型.
![](https://img2020.cnblogs.com/blog/686418/202007/686418-20200728171242355-594842635.png)
![](https://img2020.cnblogs.com/blog/686418/202007/686418-20200728171411555-336313811.png)

### 2.创建dag
![](https://img2020.cnblogs.com/blog/686418/202007/686418-20200728171854815-536740287.png)

### 3.创建任务
点击task按钮进入task列表, 再点击add添加一个任务.

添加bash任务
![](https://img2020.cnblogs.com/blog/686418/202007/686418-20200729175302904-1912323827.png)

添加hive sql任务
![](https://img2020.cnblogs.com/blog/686418/202007/686418-20200729175448222-1249035148.png)

添加hive出库到mysql任务, 对应的插件为[hive_to_rdbms_operator](https://github.com/Ryan-Miao/docker-airflow/blob/master/plugins/operators/hive_to_rdbms_operator.py)
![](https://img2020.cnblogs.com/blog/686418/202007/686418-20200729175919490-890271750.png)

### 4.配置任务依赖关系

Airflow提供了任务上下游依赖的管理方案,具体就是使用python的 >> 语法

a >> b 表示a的{{ds}}的任务执行完毕才可以执行b.

![](https://img2020.cnblogs.com/blog/686418/202007/686418-20200729180142962-813610001.png)

点击更新按钮保存依赖关系.

### 5.生成dag.py脚本

点击提交按钮, 生成python脚本预览.
![](https://img2020.cnblogs.com/blog/686418/202007/686418-20200729180300371-693181066.png)

确认没有问题后, 提交就可以将dag保存的git仓库. Airflow那边定时拉取git更新即可.

![](https://img2020.cnblogs.com/blog/686418/202007/686418-20200729180444598-1205007044.png)

## 本地启动

通过[docker-airflow](https://github.com/puckel/docker-airflow)

启动airflow, 暴露pg端口和webserver端口, 
[docker-compose.yml](doc/docker-compose.yml)