https://github.com/atomiechen/contextdataprocessing
https://github.com/atomiechen/contextdataprocessing
Last synced: 11 months ago
JSON representation
- Host: GitHub
- URL: https://github.com/atomiechen/contextdataprocessing
- Owner: atomiechen
- Created: 2022-09-15T04:25:19.000Z (almost 4 years ago)
- Default Branch: main
- Last Pushed: 2022-11-21T19:37:01.000Z (over 3 years ago)
- Last Synced: 2025-03-17T02:02:32.811Z (over 1 year ago)
- Language: Python
- Size: 43.9 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# 情境数据处理
## 监听上传
`src/watching_upload.py`：监听文件夹，将内部文件上传并实时上传新建的文件
- 指定`-c config.yml`来读取程序设置
使用Docker运行：首先修改`docker-compose.yml`里挂载的数据路径，然后在`src/config.yml`里配置要监听的数据文件夹，最后在根目录运行
```sh
docker-compose up -d
```
## Elasticsearch & Kibana 配置
参见：[Elasticsearch & Kibana 配置](./elastic_kibana/README.md)
## Elasticdump使用
进入`elasticdump`文件夹，需要配置：
- 在`config_auth`中配置ES用户名和密码（从`config_auth_template`拷贝）；
- 在`command.sh`中配置index及其他elasticdump参数。
两种运行方法：
- 如果已经装好elasticdump，可以在指定输出文件名后运行`command.sh`脚本
```sh
./command.sh <输出文件名>
```
- 如果使用docker方法，可以在指定输出文件名后运行`run_docker_elasticdump.sh`脚本
```sh
./run_docker_elasticdump.sh <输出文件名>
```
## Jupyter-GPU Docker配置
参见：[Jupyter-GPU Docker配置](./jupyter_gpu/README.md)