https://github.com/jsisques/gvd-actividad-03

Actividad de NoSQL + Spark de la asignatura de grandes volumenes de datos.
https://github.com/jsisques/gvd-actividad-03

Last synced: about 15 hours ago
JSON representation

Actividad de NoSQL + Spark de la asignatura de grandes volumenes de datos.

• Host: GitHub
• URL: https://github.com/jsisques/gvd-actividad-03
• Owner: JSisques
• License: gpl-3.0
• Created: 2024-01-19T12:07:24.000Z (11 months ago)
• Default Branch: master
• Last Pushed: 2024-01-22T22:01:11.000Z (11 months ago)
• Last Synced: 2024-11-05T15:07:48.752Z (about 2 months ago)
• Language: Python
• Size: 107 KB
• Stars: 1
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

        
# Pasos a seguir

## Paso 1

Ejecutar

docker-compose up

## Paso 2

Comprobar si va bien spark

Comrpobar si va bien mongo

### Credenciales de MongoDB

Usuario: admin

Contraseña: pass

## Paso 3

Conectarnos a la terminal del contenedor de spark

docker exec -it spark-master /bin/bash

## Paso 4

Crear la carpeta para almacenar los datos

En este caso la carpeta javi

mkdir javi

## Paso 5

copiar el código al contenedor

copiar los requirements

docker cp .\code\test_mongo.py spark-master:/opt/bitnami/spark/javi/test_mongo.py

docker cp requirements.txt spark-master:/opt/bitnami/spark/javi/requirements.txt

docker cp dataset spark-master:/opt/bitnami/spark/javi/dataset

## Paso 6

Crear el entorno virtual en el contenedor

python -m venv venv

## Paso 7

source venv/bin/activate

## Paso 8

instalar dependencias

pip install -r requirements.txt

## Paso 9

Ejecutar scripts pyrhon

python main.py

---

docker network create spark-mongo-net