https://github.com/webankblockchain/data-export

Data-Export支持将链上数据导出到MySQL、ES等便于进行大数据处理的存储介质中，解决区块链数据复杂查询、分析、可视化和处理的问题。
https://github.com/webankblockchain/data-export

blockchain consortium data data-governance export webank-blockchain

Last synced: 6 months ago
JSON representation

Data-Export支持将链上数据导出到MySQL、ES等便于进行大数据处理的存储介质中，解决区块链数据复杂查询、分析、可视化和处理的问题。

• Host: GitHub
• URL: https://github.com/webankblockchain/data-export
• Owner: WeBankBlockchain
• License: apache-2.0
• Created: 2020-10-21T07:34:07.000Z (about 5 years ago)
• Default Branch: master
• Last Pushed: 2024-04-26T07:27:48.000Z (over 1 year ago)
• Last Synced: 2024-04-26T08:35:40.444Z (over 1 year ago)
• Topics: blockchain, consortium, data, data-governance, export, webank-blockchain
• Language: Java
• Homepage: https://data-doc.readthedocs.io/zh_CN/dev/docs/WeBankBlockchain-Data-Export/index.html
• Size: 1.3 MB
• Stars: 41
• Watchers: 5
• Forks: 17
• Open Issues: 3
• Metadata Files:
  • Readme: README.md
  • Changelog: ChangeLog.md
  • License: LICENSE

Awesome Lists containing this project

README

          

# WeBankBlockchain-Data-Export

[![License](https://img.shields.io/badge/license-Apache%202-4EB1BA.svg)](https://www.apache.org/licenses/LICENSE-2.0.html)

> 穿花度柳飞如箭，

> 粘絮寻香似落星。

> 小小微躯能负重，

> 器器薄翅会乘风。

> -- 吴承恩

WeBankBlockchain-Data-Export 是一个基于[FISCO-BCOS](https://github.com/FISCO-BCOS/FISCO-BCOS)平台的数据导出工具。

数据导出组件WeBankBlockchain-Data-Export的目的在于降低获取区块链数据的开发门槛，提升研发效率。研发人员几乎不需要编写任何代码，只需要进行简单配置，就可以把数据导出到Mysql数据库。

WeBankBlockchain-Data-Export可以导出区块链上的基础数据，如当前块高、交易总量等。如果配置了FISCO-BCOS上运行合约的相关信息，还可导出链上合约的业务数据，包括event、构造函数、合约地址、执行函数的信息等。

**此版本只支持**[FISCO BCOS 2.0](https://fisco-bcos-documentation.readthedocs.io/zh_CN/latest/)及以上版本。

## 关键特性

- 支持JSON-RPC、Channel通道、数据仓库源等方式导出数据

- 支持服务和docker方式部署

- 支持多数据源，支持分库分表

- 支持ES存储

- 支持多活部署，多节点自动导出

- 支持自定义导出数据内容

- 提供SDK的集成方式

- 支持可视化的监控页面

## 环境要求

在使用本组件前，请确认系统环境已安装相关依赖软件，清单如下：

| 依赖软件 | 说明 |备注|

| --- | --- | --- |

| FISCO-BCOS | >= 2.0， 1.x版本请参考V0.5版本 dev分支 |

| Bash | 需支持Bash（理论上来说支持所有ksh、zsh等其他unix shell，但未测试）|

| Java | JDK[1.8] ||

| Git | 下载的安装包使用Git | |

| MySQL | >= mysql-community-server[5.7] | 理论上来说支持主流数据库，但未测试|

| zookeeper | >= zookeeper[3.4] | 只有在进行集群部署的时候需要安装|

| docker    | >= docker[18.0.0] | 只有需要可视化监控页面的时候才需要安装|

| ElasticSearch | >= elasticsearch [7.0] | 只有在需要ES存储时安装 |

## 文档

- [**中文**](https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Export/index.html)

- [**快速安装**](https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Export/install.html)

## 贡献代码

欢迎参与本项目的社区建设：

- 如项目对您有帮助，欢迎点亮我们的小星星(点击项目右上方Star按钮)。

- 欢迎提交代码(Pull requests)。

- [提问和提交BUG](https://github.com/WeBankBlockchain/WeBankBlockchain-Data-Export/issues)。

- 如果发现代码存在安全漏洞，请在[这里](https://security.webank.com)上报。

## License

![license](http://img.shields.io/badge/license-Apache%20v2-blue.svg)

开源协议为[Apache License 2.0](http://www.apache.org/licenses/). 详情参考[LICENSE](../LICENSE)。