data-platform-open: 🔥🔥🔥可视化拖拽式大数据集成平台、大数据平台、大数据,包含数据流、数据源、数据对齐、查询模板、完善的监控等。像画流程图一样且无代码方式同步、清洗数据。

Fetch the repository succeeded.

Scan WeChat QR to Pay

Cancel

Complete

richgiteeai

Watch

Unwatch Watching Releases Only Ignoring

1 Star 0 Fork 173

陈/data-platform-open

forked from aizuda/data-platform-open

Code Issues 0 Pull Requests 0 Wiki Insights Pipelines

Service

Tencent Cloud Serverless

Create your Gitee Account

Explore and code with more than 14 million developers,Free private repositories !:)

Already have an account? Sign in

Clone or Download

Clone/Download

HTTPS SSH SVN SVN+SSH Download ZIP

Prompt

To download the code, please copy the following command and execute it in the terminal

To ensure that your submitted code identity is correctly recognized by Gitee, please execute the following command.

git config --global user.name userName 
git config --global user.email userEmail

When using the SSH protocol for the first time to clone or push code, follow the prompts below to complete the SSH configuration.

1 Generate RSA keys.

2 Obtain the content of the RSA public key and configure it in SSH Public Keys

To use SVN on Gitee, please visit the usage guide

When using the HTTPS protocol, the command line will prompt for account and password verification as follows. For security reasons, Gitee recommends configure and use personal access tokens instead of login passwords for cloning, pushing, and other operations.

Username for 'https://gitee.com': userName

Password for 'https://userName@gitee.com': # Private Token

New file Create Diagram file

New submodule

Upload file

Branches 1

Tags 6

contribute

Sync branch

Create Pull Request

known more

See difference Through Pull Request Sync

Sync branch

Through Pull Request Sync

A Pull Request will be created to the current
branch and will be merged in to complete the sync

qwding update readme.md 91bcff9

85 commits

.workflow

data-platform-open-common

data-platform-open-flow

data-platform-open-query

data-platform-open-support

data-platform-open-web

docker

.dockerignore

.gitignore

Dockerfile

LICENSE

README.md

deploy.sh

pom.xml

README

unknown license

# 📌可视化拖拽式大数据集成平台后端 📌

### 以数据为舟,驭流而上,让大数据如流水般自由汇聚、智能流转,零代码构建您的数字未来!

### 我正在参加 Gitee 2025 最受欢迎的开源软件投票活动,快来给我投票吧!https://gitee.com/activity/2025opensource?ident=IFIWR2

### 本项目已申请外观专利+发明专利,未经明确书面授权,任何单位或个人不得对本软件进行抄袭、复制、修改、分发、逆向工程、商业用途等任何形式的非法使用。违者将面临人民币 100 万元的法定罚款及可能的法律追责。举报侵权行为可获得实际罚款金额 40% 的现金奖励。

官网:https://shaiwz.com/home <br>
前端代码地址:https://gitee.com/shaiwz/data-platform-front-open <br>
项目展示地址:http://dataplatform.cn/login

##### 举报、咨询联系方式:

- QQ:761945125
- Email:761945125@qq.com

## 页面预览

### 全家图

功能应有尽有,绝大数都支持

### 首页

综合看板,方便查看系统运行情况,数据一致性,数据源健康率,以及告警信息等。

#### 数据流统计

用来监控数据流的运行情况,数据流的运行情况,以及数据流服务器的压力。

点击处理器、或者内存时展示服务器运行信息

同时可以在服务监控中看具体的服务器信息

#### 查询模板统计

用来查看查询模板的调用情况,查询服务器运行信息

### 数据管理

#### 数据流

支持随意构建数据流向,拖拖拽拽完成数据同步,清洗,过滤等任何操作,全程不需要写任何代码。

##### 数据流列表

查看有哪些数据流任务

##### 数据流画布

支持在一个画布里面完成数据同步,清洗,过滤、报表数据生成等任何操作,全程不需要写任何代码。

下游节点支持指定执行顺序。

支持接收FlinkCDC、Canal消息,基于策略模式可以随机接入其他平台的数据,无缝、快速对接,数据发送方不需要任何改动。

发布服务器资源可控,自动容错,节点支持动态扩容,服务节点越多,性能越好。支持多版本,支持回滚。

##### 数据流实时运行日志

##### 数据流发布记录

#### 数据源

支持若干种数据源,插件方式,便于扩展其他数据源

##### 数据源创建

支持分表算法、健康检查、脱敏配置

##### 数据源控制台

不同数据源支持不同的控制台,例如MySQL、StarRocks、Doris、Oracle等控制台样式如下

Kafka控制台

ElasticSearch控制台

等等其他控制台

#### 数据对齐

通过页面简易配置即可能完成两个任意数据源、不同类型数据源数据表、索引等一致性校验,告警、并支持自动化修复!

##### 数据对齐列表

这里方便查看有哪些对齐任务

##### 数据对齐创建

配置何时触发,以及策略对齐策略:数量一致、内容一致、随机数量,对比时间范围等等配置。

##### 数据对齐日志

开源快速方便查看任务的运行情况

##### 数据对齐日志详情

针对某次对齐任务,不一致的数据快速查看,并提示出差异字段等。

#### 查询模板

通过查询模板可以快速创建查询任务,支持多种数据源。不用后端开发再去编写查询报表、对外提供数据查询接口。

##### 查询模板列表

支持版本控制、密钥、权限配置等

##### 查询模板创建

支持动态条件

支持限流、记录日志、缓存等配置

预览页面有示例文档,以及快速测试,测试没问题可以点击发布,外部服务即可调用。

##### 查询模板调用日志

支持完善的日志记录,日志可跟踪。

日志详情

#### 等等还有若干功能,欢迎联系作者进行体验

## 性能测试

| 模式 | 硬件规格 | 实例数量 | 速率(单任务) |
|--------|-------|------|---------|
| 监听-流处理 | 6c12g | 1 | 30058/s |
| 批处理 | 6c12g | 1 | 60268/s |

## 整体架构

所有服务实例均支持动态缩、扩容

## 业务价值

| 同步方案 | 人员最低要求 | 单表预估工时(同步+过滤+转换) |
|---------------|------------|------------------|
| 硬编码方式查询-过滤-写入 | 中高级开发人员 | 1人天 |
| FlinkCDC | 专业大数据源开发人员 | 0.5人天 |
| Canal | 中高级开发人员 | 0.5人天 |
| DataX | 中高级开发人员 | 0.5人天 |
| 数据流平台 | 初级开发或初级运维 | 10分钟(拖拖拽拽) |

## 毕业认证

============================================================================ 数海文舟 (DATA PLATFORM) 版权所有 © 2025 本软件受著作权法和国际版权条约保护。未经明确书面授权,任何单位或个人不得对本软件进行复制、修改、分发、逆向工程、商业用途等任何形式的非法使用。违者将面临人民币100万元的法定罚款及可能的法律追责。开源版本登记后可自用、学习、研究。举报侵权行为可获得实际罚款金额40%的现金奖励。法务邮箱:761945125@qq.com COPYRIGHT (C) 2025 dingqianwen COMPANY. ALL RIGHTS RESERVED. ============================================================================