https://github.com/wangfan002/db2es

同步数据库到数据到ES sync data from database to es
https://github.com/wangfan002/db2es

database elasticsearch es logstash mysql sqlserver sync

Last synced: 6 days ago
JSON representation

同步数据库到数据到ES sync data from database to es

• Host: GitHub
• URL: https://github.com/wangfan002/db2es
• Owner: wangfan002
• License: apache-2.0
• Created: 2022-04-25T06:37:22.000Z (over 2 years ago)
• Default Branch: master
• Last Pushed: 2022-06-24T08:17:15.000Z (over 2 years ago)
• Last Synced: 2025-01-09T10:14:54.899Z (14 days ago)
• Topics: database, elasticsearch, es, logstash, mysql, sqlserver, sync
• Language: Java
• Homepage:
• Size: 1.02 MB
• Stars: 238
• Watchers: 29
• Forks: 48
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

        
## db2es:1.0

数据库同步ES的Swagger版(脚手架)

## 标签

ElasticSearch7.10 ES 数据库 同步 mysql sqlserver 数据清洗 多线程 大数据量 全量 增量 定时 脚手架

## 优点

* 对大数据量同步性能更出色,基于id或自增列进行多线程分批同步

* 完全由java语言进行开发,数据清洗更为简单

* 基于Sqlserver日志的CDC增量同步

* 支持同步完毕的邮件和钉钉通知

* 同步基于sql,支持mysql,sqlserver等关系型数据库

* 支持多ES集群

## DEMO

* 例:同步大数据量数据  10W以上数据 --> 仿照BigData

* 例:同步小数据量数据  10W以下数据 --> 仿照SmallData

## 接口展示

![](images/img_1.jpg)

## 访问地址

* dev

  * db2es地址:http://localhost:8888/doc.html

## 主要流程图

![](images/img.png)

## 技术架构

springboot2 maven mybatis-plus mysql sqlserver logback ElasticSearch7.10 swagger2

## 联系我

[email protected]