https://github.com/wlopezm-unal/proyecto-tic
RPA process using Aws client. Where the final steps is a bucket S3 where it gonna save this data
https://github.com/wlopezm-unal/proyecto-tic
Last synced: 3 months ago
JSON representation
RPA process using Aws client. Where the final steps is a bucket S3 where it gonna save this data
- Host: GitHub
- URL: https://github.com/wlopezm-unal/proyecto-tic
- Owner: wlopezm-unal
- Created: 2024-05-30T21:31:39.000Z (12 months ago)
- Default Branch: main
- Last Pushed: 2024-05-31T01:06:22.000Z (12 months ago)
- Last Synced: 2025-01-08T03:43:27.760Z (5 months ago)
- Language: Python
- Homepage:
- Size: 6.84 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
----------------------------------------------------------------------------------------------------------------------
Correr el script de web scraping usando el cliente SSH
----------------------------------------------------------------------------------------------------------------------
1. Instalar dependencias
* sudo apt-get update
* sudo apt update
2. Clonar el repositorio github
* git clone https://github.com/wlopezm-unal/proyecto-tic
3. Crear el entorno virtual para poder ejecutar el script
* sudo install python3-pip
* sudo apt install python3-venv
* pip install -r requeriments.txt
4. Ejecutar el script scraping.py
* python3 scraping.py
----------------------------------------------------------------------------------------------------------------------
Pasar el archivo csv generado por el web scraping a s3 usando AWS CLI del usando el cliente SSH
----------------------------------------------------------------------------------------------------------------------
Pasos para poder subir tu archivo CSV a un bucket de S3 desde tu instancia EC2 usando PuTTY
1. Instalar las dependencias
* sudo apt install unzip curl -y
2. Descargar la aws cli
* curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
3. Descomprimir el archivo descargado
* unzip awscliv2.zip
4. Instalar la AWS CLI
* sudo ./aws/install
5. aws --version
* aws --version
6. Configurar la AWS CLI
* aws configure
Te pedirá ingresar los siguientes datos:
AWS Access Key ID: Ingresa tu Access Key ID.
AWS Secret Access Key: Ingresa tu Secret Access Key.
Default region name: Ingresa tu región predeterminada, por ejemplo, us-west-2.
Default output format: Puedes dejarlo en blanco o escribir json
7. Subir el archivo CSV a S3
* cd proyecto-tic
* aws s3 cp datos_liga_inglesa_2024.csv s3://proyecto-bucket/datos_liga_inglesa_2024.csv