https://github.com/kartai/kaidata_geolake
"KAI-data": Geografisk data og utveksling med Delta Lake og Delta Sharing
https://github.com/kartai/kaidata_geolake
Last synced: 22 days ago
JSON representation
"KAI-data": Geografisk data og utveksling med Delta Lake og Delta Sharing
- Host: GitHub
- URL: https://github.com/kartai/kaidata_geolake
- Owner: kartAI
- License: mit
- Created: 2025-01-13T11:52:12.000Z (over 1 year ago)
- Default Branch: main
- Last Pushed: 2025-05-14T11:58:06.000Z (about 1 year ago)
- Last Synced: 2025-05-14T12:56:05.575Z (about 1 year ago)
- Language: Jupyter Notebook
- Size: 17.2 MB
- Stars: 0
- Watchers: 2
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# kai_data_geolake
bachelorprosjekt 2025
"KAI-data": Geografisk data og utveksling med Delta Lake og Delta Sharing
Denne readme er generert med chatgpt.
## 📘 Geodata-analyse med GeoPandas, DuckDB og Databricks
Dette prosjektet består av Jupyter Notebooks utviklet for behandling, filtrering og visualisering av geografiske data (AR50 og AIS). Verktøyene tar i bruk ulike teknologier som GeoPandas, DuckDB og Apache Spark (Databricks).
---
### 📂 Innhold
| Notebook | Datasett |
|----------|-----------|
| `u1_geopandas.ipynb`, `u2_geopandas.ipynb`, `DuckDB.ipynb` `Databricks.ipynb`, `Setup_AIS_Databricks.ipynb` | AIS |
| `Geopandas.ipynb`, `DuckDB.ipynb` `Databricks.ipynb`, `Setup_AR50_Databricks.ipynb` | AR50 | Spatial spørring og simulert strømming av AR50-data |
---
## 🚀 Kom i gang
### 📦 Avhengigheter
Installer nødvendige pakker for lokal kjøring:
```bash
pip install requirements.txt
```
Databricks-miljø krever:
- Apache Spark
- Sedona for geodata
- DASK-governance-modul (ved behov)
---
### 🗂️ Kjøring av notatbøker
1. Last opp nødvendige filer i mappen `data/raw`
2. Kjør alle celler i rekkefølge
3. Resultater og visualiseringer lagres i `data/processed` eller vises i kart/Tabell
---
## ✅ Brukerhistorier
Er beskrevet i alle notebookene.
---
## 📊 Visualisering
Verktøyene inkluderer interaktive kart (Folium) og widgets for brukervennlig datatilgang og filtrering.
---
## 📄 Lisens
Dette prosjektet er utviklet som del av et bachelorprosjekt og distribueres for utdanningsformål.