https://github.com/giuseppericcio/bigdata
Svolgimento degli homeworks assegnati nell'ambito del corso di Big Data Engineering del prof. Vincenzo Moscato, Università degli Studi di Napoli "Federico II", a.a. 2022-23
https://github.com/giuseppericcio/bigdata
big-data hiveql pig-latin spark-sql
Last synced: 9 months ago
JSON representation
Svolgimento degli homeworks assegnati nell'ambito del corso di Big Data Engineering del prof. Vincenzo Moscato, Università degli Studi di Napoli "Federico II", a.a. 2022-23
- Host: GitHub
- URL: https://github.com/giuseppericcio/bigdata
- Owner: giuseppericcio
- Created: 2023-04-19T12:30:45.000Z (almost 3 years ago)
- Default Branch: main
- Last Pushed: 2025-02-16T15:29:16.000Z (about 1 year ago)
- Last Synced: 2025-07-15T13:47:25.301Z (9 months ago)
- Topics: big-data, hiveql, pig-latin, spark-sql
- Language: Jupyter Notebook
- Homepage: https://progettiunina.streamlit.app/
- Size: 58.7 MB
- Stars: 1
- Watchers: 2
- Forks: 2
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# BigData Homeworks 1: Analytics in HIVE, Pig e PySpark di una raccolta di dati relative a tutte le ricerche della Federico II di Napoli
- _HW1_: Eseguire almeno 5 diverse :chart: **analytics** di tipo descrittivo sul dataset relativo ai progetti di ricerca della Federico II. Ogni analytics dovrà essere implementata attraverso **Pig**, **HIVE** e **PySpark** e presentata attraverso apposita reportistica.
Nel **seguente repository** è possibile scaricare le analytics in :pig: **PIG** :arrow_right: [Qui](https://github.com/giuseppericcio/BigData/tree/main/HW1/ScriptPigLatin)
È possibile visualizzare le implementazioni e analytics fatte su PySpark e HIVE nei seguenti link:
### Implementazione :sparkler: PySpark
:notebook: Notebook **Colab** :arrow_right: [Vai](https://colab.research.google.com/drive/1lgeCpTdMp-aDPy4cMqcJuhbkXfrqDdHY)
### Implementazione :bee: HIVE
:notebook_with_decorative_cover: Notebook **Hive** :arrow_right: [Vai](https://github.com/giuseppericcio/BigData/blob/main/HW1/Hive%20-%20Databricks/HW1_Hive.sql)
# BigData Homeworks 2: Analytics su Database NoSQL MongoDB e Neo4J - Analisi delle competenze e dei Topic trattati nel corso degli anni applicate su una raccolta di dati relative a tutte le ricerche della Federico II di Napoli
- _HW2_: Sullo stesso dataset inerente ai progetti di ricerca della Federico II, vengono realizzate nuove :chart: **analytics** relative alla somma finanziata e ai topic/tematiche affrontate nei progetti di ricerca, visualizzando anche come queste variano negli anni. Per questo scopo, vengono utilizzati i database NoSQL **MongoDB** e **Neo4j**, ed il tutto è rappresentato nella dashboard aggiornata.
### Analytics 🍃 MongoDB
📓 Notebook **MongoDB** ➡️ [Vai](https://github.com/giuseppericcio/BigData/blob/main/HW2/MongoDB/HW2-Mongo.ipynb)
### Analytics 🌐 Neo4j
🗒️ Analytics **Neo4j** ➡️ [Vai](https://github.com/giuseppericcio/BigData/tree/main/HW2/Neo4j)
### Report finale
:bookmark_tabs: È possibile visualizzare il **report completo** di tutte le analytics incluse negli Homework 1 e 2 :arrow_right: [Vai](https://progettiunina.streamlit.app/)
# BigData Homeworks 3: Acquisizione streaming dati da Open Meteo, memorizzazione su HDFS, analitiche con PySpark
- _HW3_: Per questo Homework viene utilizzato Apache Kafka (*configurazione presente all'interno del documento*) per gestire l'acquisizione di uno stream di dati da una data sorgente, in questo caso Open Meteo, che tramite HDFS vengono memorizzati all'interno di un file di log. In seguito, utilizzando **PySpark** visto già in Homework 1, vengono eseguite delle query sullo stream di dati, visualizzando il tutto su una apposita dashboard.
### Implementazione 🪶 Apache Kafka
📂 Repository **Kafka** ➡️ [Vai](https://github.com/giuseppericcio/BigData/tree/main/HW3/Kafka)