https://github.com/easyabp/bigdatasolution
A persistence layer based on ElasticSearch and Cassandra.
https://github.com/easyabp/bigdatasolution
abp abp-vnext big-data cassandra csharp elasticsearch kafka nosql solution
Last synced: 4 months ago
JSON representation
A persistence layer based on ElasticSearch and Cassandra.
- Host: GitHub
- URL: https://github.com/easyabp/bigdatasolution
- Owner: EasyAbp
- Created: 2021-08-01T16:17:45.000Z (over 4 years ago)
- Default Branch: master
- Last Pushed: 2021-09-08T15:34:30.000Z (over 4 years ago)
- Last Synced: 2025-08-11T03:31:11.054Z (5 months ago)
- Topics: abp, abp-vnext, big-data, cassandra, csharp, elasticsearch, kafka, nosql, solution
- Language: C#
- Homepage:
- Size: 86.9 KB
- Stars: 7
- Watchers: 3
- Forks: 2
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
简体中文 | [English](./README_en.md)
## 简介
本仓库提供了一套基于 ElasticSearch(搜索) + Cassandra(存储) 的整套海量数据存储方案，基于 ABP vNext 重写了仓储层实现，减少上层业务代码的侵入。具体存储架构与网络拓扑信息，请参考下面 **架构** 一节。
## 架构
TODO
## 压力测试
**测试环境:**
| 用途 | CPU | 内存 | 硬盘 | 网络 | 数量 |
| ------------- | ---- | ---- | ---- | ---- | ---- |
| Kafka | | | | | |
| Cassandra | | | | | |
| ElasticSearch | | | | | |
| Web 站点 | | | | | |
**压测指标与结果:**
| 操作类型 | 数据量 | 并发 | 测试时间 | 平均响应时间 | 最大响应时间 |
| ------------------- | -------------- | ----- | -------- | ------------ | ------------ |
| 单条数据写入 | 1 | 10 | 5 min | | |
| 单条数据写入 | 1 | 100 | 5 min | | |
| 单条数据写入 | 1 | 1000 | 5 min | | |
| 单条数据写入 | 1 | 10000 | 5 min | | |
| 批量数据写入 | 1000 | 10 | 5 min | | |
| 批量数据写入 | 1000 | 100 | 5 min | | |
| 批量数据写入 | 1000 | 1000 | 5 min | | |
| 批量数据写入 | 1000 | 10000 | 5 min | | |
| 单条数据查询 | (预置)10000000 | 10 | 5 min | | |
| 单条数据查询 | (预置)10000000 | 100 | 5 min | | |
| 单条数据查询 | (预置)10000000 | 1000 | 5 min | | |
| 单条数据查询 | (预置)10000000 | 10000 | 5 min | | |
| 分页数据查询(30/页) | (预置)10000000 | 10 | 5 min | | |
| 分页数据查询(30/页) | (预置)10000000 | 100 | 5 min | | |
| 分页数据查询(30/页) | (预置)10000000 | 1000 | 5 min | | |
| 分页数据查询(30/页) | (预置)10000000 | 10000 | 5 min | | |
| 关联查询(3 关联表) | (预置)30000000 | 10 | 5 min | | |
| 关联查询(3 关联表) | (预置)30000000 | 100 | 5 min | | |
| 关联查询(3 关联表) | (预置)30000000 | 1000 | 5 min | | |
| 关联查询(3 关联表) | (预置)30000000 | 10000 | 5 min | | |
## 如何使用
### 环境部署
#### Docker 部署
TODO
#### 二进制部署
TODO
#### Kubernetes 部署
TODO
### 模块安装
TODO
### 表结构生成
TODO
### 动态实体管理
TODO