https://github.com/p3t3r67x0/dasoertliche_scraper
Tiny tool to scrape and fetch address details from dasoertliche.de to investigate or gather local service provider.
https://github.com/p3t3r67x0/dasoertliche_scraper
dasoertliche data-mining datagather scraper scraping scrapping
Last synced: 8 months ago
JSON representation
Tiny tool to scrape and fetch address details from dasoertliche.de to investigate or gather local service provider.
- Host: GitHub
- URL: https://github.com/p3t3r67x0/dasoertliche_scraper
- Owner: p3t3r67x0
- License: mit
- Created: 2022-11-22T21:28:12.000Z (almost 3 years ago)
- Default Branch: main
- Last Pushed: 2023-12-27T13:12:29.000Z (almost 2 years ago)
- Last Synced: 2025-02-24T09:51:58.002Z (8 months ago)
- Topics: dasoertliche, data-mining, datagather, scraper, scraping, scrapping
- Language: Python
- Homepage:
- Size: 24.5 MB
- Stars: 2
- Watchers: 0
- Forks: 1
- Open Issues: 1
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# dasoertliche.de scraper
Simple scraper to fetch some listings from a given topic on dasoertliche.de
## Why?
Actually the main reason which motivated me, was to get local landlords from a specific city. I wanted to get in touch with them to apply for any flat near by. Well, I can tell you that it worked out pretty well. Probably someone will find this helpful as well. At the moment the data is stored locally in a json file in the data directory which is ignored by git.
### setup
```sh
git clone https://github.com/p3t3r67x0/dasoertliche_scraper.git
cd dasoertliche_scraper
virtualenv venv
source venv/bin/activate
pip install -r requirements.txt
```
### how to use
Before running the script activate the virtual environment. You can query for anything which might interest you.
```sh
pyhhon crawler.py --query Hausverwaltung --offset 5 --postal-code 10963
```
If you do not wish to get results with an offset
```sh
pyhhon crawler.py --query Hausverwaltung --postal-code 10963
```
If you do not wish to get any results from a specific postal code you might not use the `--postal-code` option.
```sh
pyhhon crawler.py --query Hausverwaltung
```
### logging
Well there is not any neat logging, instead some simple process output
```
Next url https://www.dasoertliche.de/?kw=Ferienwohnung&ci=&form_name=search_nat&recFrom=5
Detail url https://www.dasoertliche.de/Themen/Astra-Hotel-Kaiserslautern-Inh-Ingeborg-Weismantel-Kaiserslautern-Innenstadt-Rudolf-Breitscheid-Str
Detail url https://www.dasoertliche.de/Themen/Atalay-Ferienwohnung-Bad-Reichenhall-Karlstein-Am-Schroffen
Detail url https://www.dasoertliche.de/Themen/Athena-Ferienwohnung-Pirna-Weinleite
Detail url https://www.dasoertliche.de/Themen/ATLAS-REISEBÜRO-GmbH-Kempten-Allgäu-Ursulasried-Ursulasrieder-Str
Detail url https://www.dasoertliche.de/Themen/Atlas-Touring-Potsdam-Nördliche-Innenstadt-Lindenstr
Detail url https://www.dasoertliche.de/Themen/Atoos-Kleinanzeigen-Marktplatz-München-Riem-Astrid-Lindgren-Str
Detail url https://www.dasoertliche.de/Themen/atraveo-GmbH-Ferienwohnungsvermietung-Düsseldorf
Detail url https://www.dasoertliche.de/Themen/Attila-Teoman-Ferienwohnungen-Düsseldorf-Pempelfort-Moltkestr
Detail url https://www.dasoertliche.de/Themen/Auer-Heinrich-Gästehaus-Flora-Reit-im-Winkl-Dorfstr
Detail url https://www.dasoertliche.de/Themen/Auer-Wohnungsbaugesellschaft-mbH-Aue-Aue-Poststr
Detail url https://www.dasoertliche.de/Themen/Auerbach-Heinrich-Ferienwohnungen-u-Monika-Ferienwohnungen-Bayerisch-Gmain-Berchtesgadener-Str
Detail url https://www.dasoertliche.de/Themen/August-Dieter-August-Carola-Ferienwohnungsvermietung-Elend-Heinrich-Heine-Weg
Detail url https://www.dasoertliche.de/Themen/Augustins-Ferienwohnung-Würzburg-Heidingsfeld-Rübezahlweg
Detail url https://www.dasoertliche.de/Themen/Aumannwirt-Landgasthof-Bad-Feilnbach-Altofing-Mühlweg
Detail url https://www.dasoertliche.de/Themen/AURA-HOTEL-Ostseeperlen-Ostseebad-Boltenhagen-Strandpromenade
Detail url https://www.dasoertliche.de/Themen/Auras-Micaela-Ferienwohnungen-Bad-Saarow-Pieskow-Fürstenwalder-Chaussee
Detail url https://www.dasoertliche.de/Themen/Aurich-Ferienwohnung-Oelsnitz-Erzgeb-Am-Förstersteig
Detail url https://www.dasoertliche.de/Themen/Ausflugslokal-Hovestadt-Inh-Dieter-Hovestadt-Gastlichkeit-Tradition-Heek-Ahle
Detail url https://www.dasoertliche.de/Themen/Autenrieth-Ludwig-Ferienwohnungen-und-Zimmervermietung-Starnberg-Kirchplatz
Detail url https://www.dasoertliche.de/Themen/Autenrieth-Ludwig-Ferienwohnungen-und-Zimmervermietung-Weßling-Hochstadt-Dorfstr
Detail url https://www.dasoertliche.de/Themen/Autenrieth-Sieglinde
Detail url https://www.dasoertliche.de/Themen/Auto-Bike-Kuhn-S-Bad-Kissingen-Rosenstr
Detail url https://www.dasoertliche.de/Themen/Auto-Mischner-Bad-Schandau-Prossen-Gründelweg
Detail url https://www.dasoertliche.de/Themen/Autohof-und-Ferienwohnung-Eisermann-Inhaber-Andreas-und-Kerstin-Eisermann-Gersdorf-Lindenhofweg
Detail url https://www.dasoertliche.de/Themen/Aymanns-Heike-Ferienwohnung-Vossberghof-Kranenburg-Nütterden-Schmelendriß
```
### issues
Happy to hear from you. Open a issue or just blame me
### todo
- improve methods command line options
- implement further storage options
- implement an export to your contact book