Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/AmirAref/DivarCrawler
an script to crawl divar.ir and extract phone numbers
https://github.com/AmirAref/DivarCrawler
crawler scraper selenium
Last synced: about 1 month ago
JSON representation
an script to crawl divar.ir and extract phone numbers
- Host: GitHub
- URL: https://github.com/AmirAref/DivarCrawler
- Owner: AmirAref
- License: mit
- Created: 2021-09-23T11:45:56.000Z (over 3 years ago)
- Default Branch: main
- Last Pushed: 2024-06-18T10:32:18.000Z (7 months ago)
- Last Synced: 2024-08-06T00:58:36.908Z (5 months ago)
- Topics: crawler, scraper, selenium
- Language: Python
- Homepage:
- Size: 6.36 MB
- Stars: 5
- Watchers: 1
- Forks: 1
- Open Issues: 1
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
Crawler دیوار
این یک اسکریپت برای crawl کردن سایت [divar.ir](https://divar.ir) است، می تواند آگهی ها را بر اساس شهر یا دسته بندی با اعمال محدودیت تعداد جمع آوری کند و می تواند لینک های آگهی ها و تلفن صاحبان آگهی ها را استخراج کند.
اسکریپت با کتابخانهی selenium کار می کند که نیاز به web driver یک مرورگر دارد، من از مرورگر edge استفاده کردم اما می توانید با کمی ویرایش آن را با مرورگر خود تغییر دهید.
اسکریپت برای اینکه بتواند شماره تلفن ها را استخراج کند ، به یک شماره ایران نیاز دارد## راه اندازی برنامه
config برنامه :
در فایل «config.py» متغیرها را برای cralwer شخصی سازی کنید
### نصب requirements:
```bash
pip install -r requirements.txt
```### اجرای برنامه :
```bash
python bot.py
```### اطلاعات مرورگر :
Microsoft edge (Version 93.0.961.52 (Official build) (64-bit) )
# Divar.ir Crawler
This is a script to crawl on the site [divar.ir](https://divar.ir), can collect ads by city or category with restrictions on the number and can be ads and phone links Extract banner owners.
The script works with selenium which requires a browser web driver, I used the edge browser but you can modify it with your browser with a little editing.
The script needs an Iranian number to be able to extract phone numbers## Start the app
### Config the app :
in `config.py` make customize the variables to crawler
### Install requirements :
```bash
pip install -r requirements.txt
```### Run the app :
```bash
python bot.py
```### Browser Info :
Microsoft edge (Version 93.0.961.52 (Official build) (64-bit) )