{"id":20898169,"url":"https://github.com/kurokuro15/bcv-scrapper-aws","last_synced_at":"2026-05-08T02:02:02.808Z","repository":{"id":111922810,"uuid":"507459812","full_name":"kurokuro15/bcv-scrapper-aws","owner":"kurokuro15","description":"Scrapper serverless de la conversión de divisas a bolívares desde el Banco central de Venezuela. Para AWS Lambda functions","archived":false,"fork":false,"pushed_at":"2022-09-17T04:44:46.000Z","size":5,"stargazers_count":1,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"main","last_synced_at":"2025-01-19T12:48:19.473Z","etag":null,"topics":["javascript","nodejs","nodejs-serverless-service","supabase"],"latest_commit_sha":null,"homepage":"","language":"JavaScript","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/kurokuro15.png","metadata":{"files":{"readme":"readme.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2022-06-26T02:29:10.000Z","updated_at":"2022-08-07T21:58:13.000Z","dependencies_parsed_at":null,"dependency_job_id":"403de511-1e96-4557-950c-6b0a2f5c9f1c","html_url":"https://github.com/kurokuro15/bcv-scrapper-aws","commit_stats":null,"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/kurokuro15%2Fbcv-scrapper-aws","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/kurokuro15%2Fbcv-scrapper-aws/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/kurokuro15%2Fbcv-scrapper-aws/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/kurokuro15%2Fbcv-scrapper-aws/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/kurokuro15","download_url":"https://codeload.github.com/kurokuro15/bcv-scrapper-aws/tar.gz/refs/heads/main","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":243285602,"owners_count":20266846,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["javascript","nodejs","nodejs-serverless-service","supabase"],"created_at":"2024-11-18T11:09:27.065Z","updated_at":"2025-12-27T05:34:23.843Z","avatar_url":"https://github.com/kurokuro15.png","language":"JavaScript","funding_links":[],"categories":[],"sub_categories":[],"readme":"# bcv-scrapper-aws\npaquete serverless para la extracción de los montos de conversión del banco central de venezuela. Ejecutandose una vez al día posterior a la actualización de estos. Actualmente limitado a ejecutarse por el desencadenamiento de un evento de AWS EventBridge ejecutado todos los días a las 21 horas UTC. \n## Procedimientos para ejecutar en un entorno local: \n`git clone https://github.com/kurokuro15/bcv-scrapper-aws.git`\n## Procedimientos para ejecutar en un entorno AWS: \nPara levantar la lambda function: \n- Copiar el repositorio localmente\n\n\t`git clone https://github.com/kurokuro15/bcv-scrapper-aws.git`\n- Instalar las dependencias de node\n\n\t`npm install`\n- Se ha de renombrar el archivo ``config.js.example`` como `config.js`\nconfigurando a su vez las variables internas `SB_URL`, `SB_SERVICE_KEY` \ndonde `SB_URL` será la url de acceso al proyecto de _supabase_ en donde el scrapper almacenará los datos y `SB_SERVICE_KEY` será el __JWT__ de servicio que otorga _Supabase_ para acceder como ___manteiner___.\n- Crear un archivo `layer.zip` con la siguiente estructura: \n\t~~~\n\tlayer.zip\n\t └ nodejs/\n\t  └ node_modules/*\n\t~~~\n\t_almacenando todas las dependencias de node_modules en dicho archivo `.zip`_\n- Crear un archivo `function.zip` donde se almacenará la lambda function:\n\t~~~~\n\tfunction.zip\n\t\t├ config.js\n\t\t├ currencies.json\n\t\t├ declarations.js\n\t\t├ index.js\n\t\t├ package.json\n\t~~~~\n- Acceder a la consola de AWS S3 y crear un bucket. \n\t- Almacenar ambos archivos comprimidos en este bucket.\n- Acceder a la consola de AWS Lambda Functions. \t\n- Acceder al apartado de capas y crear una capa.\n\t- Crearla a partir del enlace de S3 del `layer.zip`.\n\t- Indicar como __runtime__ `nodejs 12.x`, `nodejs 14.x` y `nodejs 16.x`\n- Acceder a la opción de funciones y crear una función. \n\t-\tCrear a partir de una función vacía.\n\t- Identificar \n\t- Indicar como __runtime__ `nodejs 12.X`\n\t- Una vez creada, acceder a esta y cargar código fuente a través de enlace de S3. Utilizar el enlace a ``function.zip`` ubicado en tú bucket de S3. \n\t- Después de cargar el `.zip` accedemos a __configuración__ y ubicamos las variables de entorno o `Environment Variables`. \n\t- Crear una variable `NODE_PATH = '/opt/nodejs/node_modules' `\n\t- Asignar la `layer` creada previamente. \n\nCon esto tenemos listo la configuración principal de la función lambda.\n## __Ahora toca hacer el trigger por tiempo.__\nPara esto se agrega un disparador a la función.\n- Acceder a la función y crear un desencadenador.\n- Selecionar eventBridge y crear una nueva regla.\n- Utilizar expresión de programación\n- Utilizamos una expresión cron de la forma:\n~~~~\ncron(Minutes Hours Day-of-month Month Day-of-week Year)\nrate(5 minutes) // cada 5 minutos\ncron(0 5 * * ? *) // a las 5:00 de cada día \n~~~~\n- Finalizamos la configuración y tendríamos todo listo para la auto ejecución.\n- Se puede crear un test sin cuerpo para probar su funcionamiento. \n\nEs importante utilizar NodeJS 12.X en AWS Lambda Functions\n\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fkurokuro15%2Fbcv-scrapper-aws","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fkurokuro15%2Fbcv-scrapper-aws","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fkurokuro15%2Fbcv-scrapper-aws/lists"}