https://github.com/oliverwebdev/webcrawler

My first start was to build my own comparison portal with Basic GUI. If desired, we scrape data from several sites in order to be able to find the best price directly
https://github.com/oliverwebdev/webcrawler

Last synced: about 2 months ago
JSON representation

My first start was to build my own comparison portal with Basic GUI. If desired, we scrape data from several sites in order to be able to find the best price directly

• Host: GitHub
• URL: https://github.com/oliverwebdev/webcrawler
• Owner: Oliverwebdev
• Created: 2024-11-12T09:04:20.000Z (about 1 year ago)
• Default Branch: main
• Last Pushed: 2024-12-31T20:25:03.000Z (12 months ago)
• Last Synced: 2024-12-31T21:21:08.865Z (12 months ago)
• Language: Python
• Homepage:
• Size: 69 MB
• Stars: 1
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# Smart Shopping Assistant 🛍️

Ein intelligenter Shopping-Assistant, der aktuell eBay-Produkte durchsucht und analysiert, mit dem langfristigen Ziel, eine umfassende Cross-Platform-Shopping-Lösung zu werden.

## 🌟 Features

### Aktuelle Funktionen

- **Intelligente eBay-Suche**

  - Parallele Verarbeitung mehrerer Suchanfragen

  - Fortschrittliche Fehlerbehandlung und Retry-Mechanismen

  - Dynamische User-Agent-Rotation für stabilere Anfragen

  - Proxy-Unterstützung für verbesserte Skalierbarkeit

- **Benutzerfreundliche GUI**

  - Moderne, responsive Benutzeroberfläche mit Tkinter

  - Echtzeit-Suchfortschrittsanzeige

  - Erweiterte Filteroptionen (Preis, Zustand)

  - Sortierungsmöglichkeiten nach verschiedenen Kriterien

- **Favoriten-System**

  - Speichern und Verwalten von interessanten Produkten

  - Persistente Speicherung der Favoriten

  - Kontextmenü für schnelle Aktionen

  - Doppelklick-Funktion für Produktdetails

- **Datenmanagement**

  - JSON-basierte Datenspeicherung

  - Thread-sichere Implementierung

  - Automatische Backup-Funktionalität

  - Konfigurierbare Einstellungen

## 🚀 Installation

```bash

# Repository klonen

git clone https://github.com/yourusername/smart-shopping-assistant.git

cd smart-shopping-assistant

# Virtuelle Umgebung erstellen und aktivieren

python -m venv venv

source venv/bin/activate  # Linux/Mac

.\venv\Scripts\activate   # Windows

# Abhängigkeiten installieren

pip install -r requirements.txt

```

## 🛠️ Technische Anforderungen

- Python 3.8+

- Required Packages:

  - tkinter

  - requests

  - beautifulsoup4

  - fake-useragent

  - threading

  - logging

## 📦 Projektstruktur

```

smart-shopping-assistant/

├── main.py              # Haupteinstiegspunkt

├── gui.py              # GUI-Implementierung

├── ebay_scraper.py     # eBay-Scraping-Logik

├── config.py           # Konfigurationseinstellungen

├── utils.py            # Hilfsfunktionen

├── data/               # Gespeicherte Daten

└── logs/               # Logging-Dateien

```

## 🎯 Roadmap

### Kurzfristige Ziele

- [ ] Integration weiterer E-Commerce-Plattformen (Amazon, Idealo)

- [ ] Preisvergleich zwischen verschiedenen Plattformen

- [ ] Preishistorie und Preiswarnungen

- [ ] Erweiterte Filtermöglichkeiten

- [ ] Export-Funktionen für Suchergebnisse

### Mittelfristige Ziele

- [ ] Machine Learning für Produktempfehlungen

- [ ] Automatische Kategorisierung von Produkten

- [ ] Browser-Extension für direktes Speichern

- [ ] Mobile App Integration

- [ ] API-Schnittstelle für externe Dienste

### Langfristige Vision

- [ ] Vollständige Shopping-Automatisierung

- [ ] KI-basierte Preisvorhersagen

- [ ] Soziale Shopping-Features

- [ ] Internationale Marktplatz-Integration

- [ ] Automatische Deal-Erkennung

## 🤝 Beitragen

Beiträge sind willkommen! Bitte beachten Sie folgende Schritte:

1. Fork des Repositories

2. Feature-Branch erstellen (`git checkout -b feature/AmazingFeature`)

3. Änderungen committen (`git commit -m 'Add some AmazingFeature'`)

4. Branch pushen (`git push origin feature/AmazingFeature`)

5. Pull Request erstellen

## ⚠️ Rechtliche Hinweise

- Dieses Tool ist nur für persönliche Verwendung gedacht

- Bitte beachten Sie die Nutzungsbedingungen der jeweiligen Plattformen

- Scraping-Aktivitäten sollten die Server-Ressourcen respektieren

## 📝 Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert - siehe die [LICENSE](LICENSE) Datei für Details.

## 🙏 Danksagung

Besonderer Dank gilt:

- Der Python-Community für die großartigen Bibliotheken

- Allen Mitwirkenden und Unterstützern des Projekts

- Der Open-Source-Community für Inspiration und Ressourcen

## To do

# Ebay, Amazon, Otto gehen 

# Kaufland zu starke anti bot maßnahmen

# Idealo, kleinanzeigen, saturn, zalando fehlen noch