https://github.com/correlaid/kommuki-qm
Dataset validation for Kommuki project
https://github.com/correlaid/kommuki-qm
Last synced: 5 months ago
JSON representation
Dataset validation for Kommuki project
- Host: GitHub
- URL: https://github.com/correlaid/kommuki-qm
- Owner: CorrelAid
- Created: 2024-06-13T14:32:30.000Z (about 2 years ago)
- Default Branch: main
- Last Pushed: 2024-07-25T09:57:09.000Z (almost 2 years ago)
- Last Synced: 2025-10-05T07:24:19.307Z (9 months ago)
- Language: HTML
- Size: 3.41 MB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Datenqualitätscheck Kommuki
Hintergrund: für das Datenvorhaben Kommuki gibt es ein CMS (Strapie), in das die Daten geladen werden über eine Hochlademaske.
Die Daten liegen bei Politik zum Anfassen e.V. als Google Sheets vor und müssen einer Struktur entsprechen.
Dieses Projekt enthält 2 Dinge:
1. einen Datenqualitätsreport (`kommuki_datenqualitaet.Rmd`)
2. ein Datenbereinigungsskript um final noch ein paar kleinere Dinge zu bereinigen (`daten_bereinigen.R`) und ein csv zu erstellen, was in die Upload-Maske hochgeladen werden kann
# Installation & Setup
## R & RStudio / Projekt öffnen
1. [R und RStudio installieren](https://posit.co/download/rstudio-desktop/)
2. dieses Projekt herunterladen (grüner Code Button -> Download as Zip)
3. Projekt entzippen
4. Doppelklick auf `kommuki_qm.Rproj` sollte das Projekt in RStudio öffnen.
## Packages
Wir brauchen bestimmte R Pakete. Diese installieren wir in der R Console. Hierzu den Command kopieren und mit Enter ausführen.
renv installieren:
```
install.packages("renv")
```
Packages installieren:
```
renv::restore()
```
falls das nicht funktioniert hier die wichtigsten packages:
```
install.packages("tidyverse")
install.packages("rmarkdown")
install.packages("emojifont")
install.packages("fs")
```
Rest dann nach Bedarf aka wenn Fehler auftauchen.
## Daten
- Daten aus Google Drive runterladen und entzippen
- in `data/raw_data` verschieben
# Datenqualitätsreport
in der R Console:
```
rmarkdown::render("kommuki_datenqualitaet.Rmd")
```
oder `kommuki_datenqualitaet.Rmd` öffnen und auf den blauen knit Button mit dem Wollknäuel drücken.
## Wie es funktioniert
- in `kommuki_qm.Rmd` werden checks gefahren für jede Datei in raw data .
- funktionen sind in `functions.R`
- Zwischenergebnisse werden rausgeschrieben in `data/results` als json.
- dann wird für jedes Excel ein Chunk geknittet (`single_sheet.Rmd`). hier wird dann das jeweilige JSON wieder eingelesen und die Ergebnisse werden dargestellt.
geht sicher effizienter und schöner, aber war in der Kürze der Zeit das, was funktioniert hat.
# Datenbereinigungsskript
1. `daten_bereinigen.R` öffnen und
# Lizenz
## Daten
[](https://creativecommons.org/licenses/by/4.0/)
umfasst: alle Dateien in `data`
Datensatz Kommuki, Politik zum Anfassen e.V., lizensiert unter [CC-BY 4.0](https://creativecommons.org/licenses/by/4.0/).
## Code
umfasst: alle Dateien außerhalb von `data`.
[](https://opensource.org/licenses/MIT)
MIT Lizenz, CorrelAid e.V.