https://github.com/ediloaz/market-web-scrapping
https://github.com/ediloaz/market-web-scrapping
automation market python scraping-websites
Last synced: 11 months ago
JSON representation
- Host: GitHub
- URL: https://github.com/ediloaz/market-web-scrapping
- Owner: ediloaz
- Created: 2024-07-03T22:05:57.000Z (almost 2 years ago)
- Default Branch: main
- Last Pushed: 2025-06-26T02:59:05.000Z (12 months ago)
- Last Synced: 2025-06-29T21:07:59.481Z (11 months ago)
- Topics: automation, market, python, scraping-websites
- Language: Python
- Homepage:
- Size: 15.6 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Lista de Tareas
## Imágenes
- [x] Remover el enlace de las imágenes.
- [ ] Subirlas conforme se van descargando.
- [ ] Definir la estructura y flujo de cómo manejar estas imágenes (Considerar la posibilidad de carga diferida desde otro sitio gratuito (Google Drive, por ejemplo)).
- [ ] Hacer público los datos al utilizar la página.
## JSONs
- [ ] Crear MultiJsons para manejarlos en un sitio web estático.
## WebSite
- [ ] Primera versión del WebSite, muestra un listado de todos los perfumes del JSON.
## Mejor continúa
- [ ] Obtener los demás atributos.
- [ ] Observar los datos y detectar patrones.
- [ ] Conectar con Inteligencia Artificial para, mediante un trabajo programado, mejorar periódicamente la descripción, detalles o atributos de los perfumes.
- [ ] Conectar con otras páginas y fusionar datos de los mismos perfumes.
- [ ] Resolver cómo conseguir imágenes de alta calidad.
## Ejemplo del archivo .env
SITEMAP_URL=https://website.com/wp-sitemap.xml
AWS_ACCESS_KEY_ID=AAA
AWS_SECRET_ACCESS_KEY=BBB
REGION=us-west-2
OUTPUT=json
BUCKET_NAME=images