https://github.com/edp963/wormhole

Wormhole is a SPaaS (Stream Processing as a Service) Platform
https://github.com/edp963/wormhole

spark-streaming stream-processing wormhole

Last synced: 8 months ago
JSON representation

Wormhole is a SPaaS (Stream Processing as a Service) Platform

Host: GitHub
URL: https://github.com/edp963/wormhole
Owner: edp963
License: apache-2.0
Created: 2017-09-05T07:18:39.000Z (over 8 years ago)
Default Branch: master
Last Pushed: 2022-11-16T03:44:50.000Z (about 3 years ago)
Last Synced: 2024-04-13T23:55:17.978Z (over 1 year ago)
Topics: spark-streaming, stream-processing, wormhole
Language: JavaScript
Homepage: https://edp963.github.io/wormhole
Size: 45.5 MB
Stars: 976
Watchers: 103
Forks: 482
Open Issues: 30
Metadata Files:
- Readme: README.md
- Contributing: CONTRIBUTING.md
- License: LICENSE

Awesome Lists containing this project

awesome-java - Wormhole

README

[![License](https://img.shields.io/badge/license-Apache%202-4EB1BA.svg)](https://www.apache.org/licenses/LICENSE-2.0.html)
[![Build Status](https://travis-ci.org/edp963/wormhole.svg?branch=master)](https://travis-ci.org/edp963/wormhole)
[![Coverage Status](https://coveralls.io/repos/github/edp963/wormhole/badge.svg)](https://coveralls.io/github/edp963/wormhole)

## Wormhole

> 来自[宜信](https://www.creditease.cn/)[技术研发中心](http://crdc.creditease.cn/)的流式处理平台

**Wormhole 是一个一站式流式处理云平台解决方案（SPaaS - Stream Processing as a Service）。**

Wormhole 面向大数据流式处理项目的开发管理运维人员，致力于提供统一抽象的概念体系，直观可视化的操作界面，简单流畅的配置管理流程，基于 SQL 即可完成的业务逻辑开发方式，并且屏蔽了流式处理的底层技术细节，极大的降低了数据项目管理运维门槛，使得大数据流式处理项目的开发管理运维变得更加轻量敏捷可控可靠。

## Documentation

Please refer to [Wormhole用户手册](https://edp963.github.io/wormhole).

## Architecture

### 设计理念

- **统一 DAG 高阶分形抽象**
- 构建由 Source DataSys，Kafka Topic，Spark Stream（Flink Stream），Sink DataSys 组成的物理 DAG
- 每个物理 DAG 里可以并行处理多个由 Source Namespace，Flow，Sink Namespace 组成的逻辑 DAG
- 每个 Flow 本身是典型的 Spark RDD DAG
- **统一通用流消息 UMS 协议抽象**
- UMS 是 Wormhole 定义的流消息协议规范
- UMS 试图抽象统一所有结构化消息
- UMS 自身携带结构化数据 Schema 信息
- Wh4 支持用户自定义半结构化 JSON 格式
- **统一数据逻辑表命名空间 Namespace 抽象**
- Namespace 唯一定位所有数据存储所有结构化逻辑表
- [Data System].[Instance].[Database].[Table].[Table Version].[Database Partition].[Table Partition]

### 主要特性

- **支持可视化，配置化，SQL 化开发实施流式项目**
- **支持指令式动态流式处理的管理，运维，诊断和监控**
- **支持统一结构化 UMS 消息和自定义半结构化 JSON 消息**
- **支持处理增删改三态事件消息流**
- **支持单个物理流同时并行处理多个逻辑业务流**
- **支持流上 Lookup Anywhere，Pushdown Anywhere**
- **支持基于业务策略的事件时间戳流式处理**
- **支持UDF的注册管理和动态加载**
- **支持多目标数据系统的并发幂等入库**
- **支持多级基于增量消息的数据质量管理**
- **支持基于增量消息的流式处理和批量处理**
- **支持 Lambda 架构和 Kappa 架构**
- **支持与三方系统无缝集成，可作为三方系统的流控引擎**
- **支持私有云部署，安全权限管控和多租户资源管理**

## Experience

#### Admin 可以创建 Project/Namespace/User/UDF，并且可以查看所有 Flow/Stream/Job