https://github.com/dataforgoodfr/batch8_actioncontrelafaim
https://github.com/dataforgoodfr/batch8_actioncontrelafaim
Last synced: 6 days ago
JSON representation
- Host: GitHub
- URL: https://github.com/dataforgoodfr/batch8_actioncontrelafaim
- Owner: dataforgoodfr
- License: mit
- Created: 2020-09-19T17:15:42.000Z (over 5 years ago)
- Default Branch: master
- Last Pushed: 2020-11-11T21:14:50.000Z (about 5 years ago)
- Last Synced: 2024-06-11T19:44:27.685Z (over 1 year ago)
- Language: Jupyter Notebook
- Size: 53.7 KB
- Stars: 0
- Watchers: 6
- Forks: 0
- Open Issues: 9
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Action Contre la Faim - Système d'Alerte
Objectif : construire un tableau de bord permettant le suivi des situations humanitaires en Birmanie (pays pilote) et dans le monde, à partir de données publiques. En particulier, suivre l'évolution de ces situations en lien avec l'épidémie de Covid-19.
## Etapes
- Identifier et prioriser les indicateurs d'intérêt
- Identifier les sources de données correspondantes et les évaluer
- Développer le code d'acquisition et de structuration des données (notebooks)
- Industrialiser ce code et planifier des runs périodiques (scripts et *cron jobs*)
- Documenter les caractéristiques de chaque source de données et de ses transformations
- Développer un dashboard de suivi des indicateurs consolidés (Power BI)
## Structure du répertoire
- `src/` : contient le code de développement (`src/notebooks/`) et de production (`src/scripts/`) nécessaire à la consolidation des données
- `data/` : contient les sources de données scrapées (`data/sources/`) et transformées (`data/clean/`) ; non suivi par git.
- `docs/` : contient la documentation du code ainsi que celle des sources de données.
## Environnement de développement
### Langage
- python 3.8.2
- Convention PEP-8. Black est utilisé pour l'assurer dans les notebooks: l'activer avec la commande
```
jupyter nbextension install https://github.com/drillan/jupyter-black/archive/master.zip
jupyter nbextension enable jupyter-black-master/jupyter-black
```
puis cliquer sur le bouton "Jupyter Black" en sélectionnant les cellules concernées
### Notebooks
- Collection de chaque source dans un notebook individuel Jupyter, ce qui permet de maintenir plus aisément le code.
- Chaque notebooks peut être converti en un script à l'aide de la commande:
```
# run from repository root
jupyter nbconvert --config "./config/notebooks_conversion_cfg.py" --to script --output-dir "./src/scripts/collection/"
```
- Pour ignorer les cellules de tests/developpement lors de la conversion, il suffit de les marquer du tag 'dev'.
Les tags peuvent être activés dans les notebooks en allant à "View - Cell Toolbar - Tags".