{"id":25639409,"url":"https://github.com/oliverwebdev/webcrawler","last_synced_at":"2025-10-27T00:46:18.370Z","repository":{"id":262412301,"uuid":"887153971","full_name":"Oliverwebdev/WebCrawler","owner":"Oliverwebdev","description":"My first start was to build my own comparison portal with Basic GUI. If desired, we scrape data from several sites in order to be able to find the best price directly","archived":false,"fork":false,"pushed_at":"2024-12-31T20:25:03.000Z","size":72339,"stargazers_count":1,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"main","last_synced_at":"2024-12-31T21:21:08.865Z","etag":null,"topics":[],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/Oliverwebdev.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2024-11-12T09:04:20.000Z","updated_at":"2024-12-31T20:25:07.000Z","dependencies_parsed_at":"2024-11-12T10:32:57.273Z","dependency_job_id":null,"html_url":"https://github.com/Oliverwebdev/WebCrawler","commit_stats":null,"previous_names":["oliverwebdev/webcrawler"],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Oliverwebdev%2FWebCrawler","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Oliverwebdev%2FWebCrawler/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Oliverwebdev%2FWebCrawler/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Oliverwebdev%2FWebCrawler/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/Oliverwebdev","download_url":"https://codeload.github.com/Oliverwebdev/WebCrawler/tar.gz/refs/heads/main","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":240265499,"owners_count":19774071,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":[],"created_at":"2025-02-23T03:37:39.385Z","updated_at":"2025-10-27T00:46:18.274Z","avatar_url":"https://github.com/Oliverwebdev.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# Smart Shopping Assistant 🛍️\n\nEin intelligenter Shopping-Assistant, der aktuell eBay-Produkte durchsucht und analysiert, mit dem langfristigen Ziel, eine umfassende Cross-Platform-Shopping-Lösung zu werden.\n\n## 🌟 Features\n\n### Aktuelle Funktionen\n- **Intelligente eBay-Suche**\n  - Parallele Verarbeitung mehrerer Suchanfragen\n  - Fortschrittliche Fehlerbehandlung und Retry-Mechanismen\n  - Dynamische User-Agent-Rotation für stabilere Anfragen\n  - Proxy-Unterstützung für verbesserte Skalierbarkeit\n\n- **Benutzerfreundliche GUI**\n  - Moderne, responsive Benutzeroberfläche mit Tkinter\n  - Echtzeit-Suchfortschrittsanzeige\n  - Erweiterte Filteroptionen (Preis, Zustand)\n  - Sortierungsmöglichkeiten nach verschiedenen Kriterien\n\n- **Favoriten-System**\n  - Speichern und Verwalten von interessanten Produkten\n  - Persistente Speicherung der Favoriten\n  - Kontextmenü für schnelle Aktionen\n  - Doppelklick-Funktion für Produktdetails\n\n- **Datenmanagement**\n  - JSON-basierte Datenspeicherung\n  - Thread-sichere Implementierung\n  - Automatische Backup-Funktionalität\n  - Konfigurierbare Einstellungen\n\n## 🚀 Installation\n\n```bash\n# Repository klonen\ngit clone https://github.com/yourusername/smart-shopping-assistant.git\ncd smart-shopping-assistant\n\n# Virtuelle Umgebung erstellen und aktivieren\npython -m venv venv\nsource venv/bin/activate  # Linux/Mac\n.\\venv\\Scripts\\activate   # Windows\n\n# Abhängigkeiten installieren\npip install -r requirements.txt\n```\n\n## 🛠️ Technische Anforderungen\n\n- Python 3.8+\n- Required Packages:\n  - tkinter\n  - requests\n  - beautifulsoup4\n  - fake-useragent\n  - threading\n  - logging\n\n## 📦 Projektstruktur\n\n```\nsmart-shopping-assistant/\n├── main.py              # Haupteinstiegspunkt\n├── gui.py              # GUI-Implementierung\n├── ebay_scraper.py     # eBay-Scraping-Logik\n├── config.py           # Konfigurationseinstellungen\n├── utils.py            # Hilfsfunktionen\n├── data/               # Gespeicherte Daten\n└── logs/               # Logging-Dateien\n```\n\n## 🎯 Roadmap\n\n### Kurzfristige Ziele\n- [ ] Integration weiterer E-Commerce-Plattformen (Amazon, Idealo)\n- [ ] Preisvergleich zwischen verschiedenen Plattformen\n- [ ] Preishistorie und Preiswarnungen\n- [ ] Erweiterte Filtermöglichkeiten\n- [ ] Export-Funktionen für Suchergebnisse\n\n### Mittelfristige Ziele\n- [ ] Machine Learning für Produktempfehlungen\n- [ ] Automatische Kategorisierung von Produkten\n- [ ] Browser-Extension für direktes Speichern\n- [ ] Mobile App Integration\n- [ ] API-Schnittstelle für externe Dienste\n\n### Langfristige Vision\n- [ ] Vollständige Shopping-Automatisierung\n- [ ] KI-basierte Preisvorhersagen\n- [ ] Soziale Shopping-Features\n- [ ] Internationale Marktplatz-Integration\n- [ ] Automatische Deal-Erkennung\n\n## 🤝 Beitragen\n\nBeiträge sind willkommen! Bitte beachten Sie folgende Schritte:\n\n1. Fork des Repositories\n2. Feature-Branch erstellen (`git checkout -b feature/AmazingFeature`)\n3. Änderungen committen (`git commit -m 'Add some AmazingFeature'`)\n4. Branch pushen (`git push origin feature/AmazingFeature`)\n5. Pull Request erstellen\n\n## ⚠️ Rechtliche Hinweise\n\n- Dieses Tool ist nur für persönliche Verwendung gedacht\n- Bitte beachten Sie die Nutzungsbedingungen der jeweiligen Plattformen\n- Scraping-Aktivitäten sollten die Server-Ressourcen respektieren\n\n## 📝 Lizenz\n\nDieses Projekt ist unter der MIT-Lizenz lizenziert - siehe die [LICENSE](LICENSE) Datei für Details.\n\n## 🙏 Danksagung\n\nBesonderer Dank gilt:\n- Der Python-Community für die großartigen Bibliotheken\n- Allen Mitwirkenden und Unterstützern des Projekts\n- Der Open-Source-Community für Inspiration und Ressourcen\n\n\n\n## To do\n\n# Ebay, Amazon, Otto gehen \n\n# Kaufland zu starke anti bot maßnahmen\n# Idealo, kleinanzeigen, saturn, zalando fehlen noch ","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Foliverwebdev%2Fwebcrawler","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Foliverwebdev%2Fwebcrawler","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Foliverwebdev%2Fwebcrawler/lists"}