https://github.com/lonecloud/pika-txt

pika数据处理工具
https://github.com/lonecloud/pika-txt

Last synced: about 1 month ago
JSON representation

pika数据处理工具

• Host: GitHub
• URL: https://github.com/lonecloud/pika-txt
• Owner: lonecloud
• Created: 2019-10-29T08:58:24.000Z (over 6 years ago)
• Default Branch: master
• Last Pushed: 2024-12-20T15:24:52.000Z (over 1 year ago)
• Last Synced: 2025-03-20T16:41:14.632Z (over 1 year ago)
• Language: Java
• Size: 23.4 MB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 2
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# Pika-txt 工具

## 项目由来

> 由于之前项目中需要将pika中的全量数据进行导出，然后将该库中的所有数据取出部分我们业务中需要的数据，然后进行分割，解析完成后插入到我们的自己的DB中。

由于在我们线上生产中的Pika并不知道该Key的组成，所以不能使用`get`方式来进行获取参数

## 使用说明

1. 将你的pika数据文件拷贝到与tool相同的目录下,在linux环境下运行,先将数据导出到txt中

```shell

./pika_to_txt ./blackwidow_db ./data.txt

```

2. 将`data.txt`复制到`config.properties`文件中的`text.file`中

3. 运行start.sh即可

## 相关接口

`DataAnalysis`:数据解析类，如果需要对数据进行处理，则继承该类，重写`invokeData`方法即可。

`DataFilter`:数据过滤器接口，判断哪些数据需要过滤掉