{"id":25236783,"url":"https://github.com/pcanadas/inmoscraper","last_synced_at":"2026-04-10T23:37:00.076Z","repository":{"id":276986504,"uuid":"930902645","full_name":"pcanadas/InmoScraper","owner":"pcanadas","description":"Este proyecto proporciona un scraper automatizado para extraer información detallada de anuncios inmobiliarios desde sitios web","archived":false,"fork":false,"pushed_at":"2025-02-14T05:40:00.000Z","size":8775,"stargazers_count":0,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"main","last_synced_at":"2025-04-05T18:13:23.690Z","etag":null,"topics":["python","scraping","selenium"],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"mit","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/pcanadas.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2025-02-11T12:00:30.000Z","updated_at":"2025-02-14T05:40:03.000Z","dependencies_parsed_at":"2025-02-11T14:51:30.856Z","dependency_job_id":null,"html_url":"https://github.com/pcanadas/InmoScraper","commit_stats":null,"previous_names":["pcanadas/inmoscraper"],"tags_count":0,"template":false,"template_full_name":null,"purl":"pkg:github/pcanadas/InmoScraper","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/pcanadas%2FInmoScraper","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/pcanadas%2FInmoScraper/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/pcanadas%2FInmoScraper/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/pcanadas%2FInmoScraper/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/pcanadas","download_url":"https://codeload.github.com/pcanadas/InmoScraper/tar.gz/refs/heads/main","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/pcanadas%2FInmoScraper/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":270644755,"owners_count":24621332,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","status":"online","status_checked_at":"2025-08-15T02:00:12.559Z","response_time":110,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["python","scraping","selenium"],"created_at":"2025-02-11T15:31:50.630Z","updated_at":"2026-04-10T23:36:59.998Z","avatar_url":"https://github.com/pcanadas.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# InmoScraper\n\n## Descripción\nEste proyecto proporciona un **scraper automatizado** para extraer información detallada de anuncios inmobiliarios desde sitios web. Utiliza **Selenium** para navegar por las páginas de los anuncios, recopilar datos clave y guardarlos en un archivo CSV. El scraper está diseñado para trabajar de manera eficiente y evitar bloqueos mediante el uso de agentes de usuario rotativos, tiempos de espera aleatorios y un manejo robusto de errores.\n\n### Información extraída\nEl scraper obtiene la siguiente información de cada anuncio inmobiliario:\n- Fecha de captura\n- Referencia del anuncio\n- Nombre de la promotora\n- Zonas comunes\n- Certificado energético\n- Código postal\n- Dirección\n- Número de dormitorios\n- Área de la propiedad\n- Planta\n- Características adicionales\n- Fecha de actualización\n- URL\n- Imagen de la propiedad\n- Tipo de propiedad (e.g., apartamento, casa)\n- Precio\n\n## Mejoras en la versión v2\nEsta versión del scraper ha sido mejorada con respecto a la anterior para optimizar su rendimiento y robustez. Algunas de las principales mejoras son:\n\n- **Manejo avanzado de excepciones** con logging detallado para una mejor trazabilidad de errores.\n- **Optimización de tiempos de espera** utilizando `WebDriverWait`, lo que mejora la eficiencia y reduce los tiempos de espera innecesarios.\n- **Prevención de bloqueos** mediante la rotación de agentes de usuario y la implementación de tiempos de espera aleatorios entre solicitudes.\n- **Código más modular** y estructurado en funciones reutilizables para facilitar el mantenimiento y la extensión del script.\n- **Mejor gestión del ciclo de vida del WebDriver** mediante el uso de un context manager, lo que asegura una inicialización y cierre adecuados del navegador.\n\n## Requisitos\n- Python 3.x\n- Selenium\n- Pandas\n- ChromeDriver\n\n### Instalación\n1. Clona este repositorio en tu máquina local:\n``` bash\n    git clone https://github.com/pcanadas/InmoScraper.git\n```\n\n2. Instala las dependencias necesarias:\n``` bash\n    pip install -r requirements.txt\n```\n\n3. Descarga ChromeDriver y asegúrate de que sea compatible con la versión de Chrome que tienes instalada.\n\n### Mecanismos anti-bloqueo\nEste scraper implementa varias estrategias para evitar ser detectado como un bot:\n\n- Rotación de agentes de usuario: Utiliza diferentes agentes de usuario para simular múltiples navegadores.\n- Tiempos de espera aleatorios: Introduce un retraso aleatorio entre las solicitudes para reducir la probabilidad de bloqueo.\n- Scroll automático: Realiza un desplazamiento (scroll) por la página para cargar contenido dinámico.\n\n\n\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fpcanadas%2Finmoscraper","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fpcanadas%2Finmoscraper","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fpcanadas%2Finmoscraper/lists"}