https://github.com/xuwei95/ezdata
基于python和llm大模型开发的数据处理和任务调度系统。 支持数据源管理，数据模型管理，数据集成，数据查询API接口，低代码自定义数据处理任务模版，单任务及dag任务工作流调度等功能。集成了llm模块实现rag知识库问答，链接各数据源数据进行数据对话问答，交互式数据分析功能。
https://github.com/xuwei95/ezdata
chatdata etl llm python rag scheduler text2sql
Last synced: about 1 month ago
JSON representation
基于python和llm大模型开发的数据处理和任务调度系统。 支持数据源管理，数据模型管理，数据集成，数据查询API接口，低代码自定义数据处理任务模版，单任务及dag任务工作流调度等功能。集成了llm模块实现rag知识库问答，链接各数据源数据进行数据对话问答，交互式数据分析功能。
- Host: GitHub
- URL: https://github.com/xuwei95/ezdata
- Owner: xuwei95
- License: apache-2.0
- Created: 2023-08-15T03:22:59.000Z (over 1 year ago)
- Default Branch: master
- Last Pushed: 2025-03-28T17:25:33.000Z (about 1 month ago)
- Last Synced: 2025-03-28T18:30:05.578Z (about 1 month ago)
- Topics: chatdata, etl, llm, python, rag, scheduler, text2sql
- Language: Python
- Homepage: http://www.ezdata.cloud
- Size: 869 KB
- Stars: 176
- Watchers: 8
- Forks: 33
- Open Issues: 1
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
- awesome-hacking-lists - xuwei95/ezdata - 基于python和llm大模型开发的数据处理和任务调度系统。 支持数据源管理，数据模型管理，数据集成，数据查询API接口，低代码自定义数据处理任务模版，单任务及dag任务工作流调度等功能。集成了llm模块实现rag知识库问答，链接各数据源数据进行数据对话问答，交互式数据分析功能。 (Python)
README
ezdata
===============
项目介绍
-----------------------------------
ezdata 是基于python后端和vue3前端开发的数据处理分析和任务调度系统。
其主要功能如下
- 多数据源管理，支持连接文件，关系型数据库，nosql数据库，时序数据库，图数据库等多种数据源。
- 各数据源抽象为统一数据模型，支持创建，删除，字段管理，自定义查询取数，封装数据查询api接口等各种功能。
- 集成chatgpt等llm，支持数据问答功能，使用数据对话方式实现交互式数据分析，ai自动输出数据结论，数据表格，统计报表等内容。
- 低代码数据集成，可视化处理流中每一步结果，可使用分布式pandas引擎拓展至tb级大型数据集，使用多种内置转换算法或自定义代码快速实现数据传输管道。
- 单任务和dag任务工作流调度，内置python，shell，数据集成等多种任务模版，也支持使用内置表单引擎和编写动态执行代码自定义任务模版，支持分布式worker执行，任务队列管理，任务失败重试，任务失败告警，任务运行日志及执行历史查看等调度系统功能。
- 集成低代码数据可视化大屏系统，拖拽设计及快速对接数据api接口。
项目链接
-----------------------------------
- 项目官网： [http://www.ezdata.cloud](http://www.ezdata.cloud)
- 在线演示 ： [在线演示](http://124.220.57.72)
[comment]: <> (- 开发文档： [主项目文档](http://www.ezdata.cloud/docs/hello.html))
项目源码
-----------------------------------
| 仓库 | 后端 |前端 | 数据大屏前端 |
|--------------------|--------------------|--------------------|--------------------|
| Github | [ezdata](https://github.com/xuwei95/ezdata) | [ezdata_frontend](https://github.com/xuwei95/ezdata_frontend) | [ezdata_bigscreen](https://github.com/xuwei95/ezdata_bigscreen) |
| 码云 | [ezdata](https://gitee.com/xuwei95/ezdata) | [ezdata_frontend](https://gitee.com/xuwei95/ezdata_frontend) | [ezdata_bigscreen](https://gitee.com/xuwei95/ezdata_bigscreen) |
| gitcode | [ezdata](https://gitcode.com/xuwei95/ezdata) | [ezdata_frontend](https://gitcode.com/xuwei95/ezdata_frontend) | [ezdata_bigscreen](https://gitcode.com/xuwei95/ezdata_bigscreen) |
系统效果
----
##### 主页
##### 数据源管理
##### 数据模型管理
##### 数据自定义查询及接口封装
##### 数据对话，交互式数据分析
##### 数据集成
##### 任务模版管理
##### 任务调度
##### dag任务工作流
##### worker执行节点管理
##### 数据可视化大屏
后端启动
----
### 依赖安装
```
pip install -r requirements.txt -i https://pypi.doubanio.com/simple
```
### 系统web接口服务
```
python web_api.py
```
### 系统任务调度接口服务
```
python scheduler_api.py
```
## celery相关
启动worker
- windows
```
celery -A tasks worker -P eventlet
```
- linux
```
celery -A tasks worker
```
启动flower
```
celery -A tasks flower
```