Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/AmirAref/DivarCrawler

an script to crawl divar.ir and extract phone numbers
https://github.com/AmirAref/DivarCrawler

crawler scraper selenium

Last synced: about 1 month ago
JSON representation

an script to crawl divar.ir and extract phone numbers

Awesome Lists containing this project

README

        

Crawler دیوار

این یک اسکریپت برای crawl کردن سایت [divar.ir](https://divar.ir) است، می تواند آگهی ها را بر اساس شهر یا دسته بندی با اعمال محدودیت تعداد جمع آوری کند و می تواند لینک های آگهی ها و تلفن صاحبان آگهی ها را استخراج کند.
اسکریپت با کتابخانه‌ی selenium کار می کند که نیاز به web driver یک مرورگر دارد، من از مرورگر edge استفاده کردم اما می توانید با کمی ویرایش آن را با مرورگر خود تغییر دهید.
اسکریپت برای اینکه بتواند شماره تلفن ها را استخراج کند ، به یک شماره ایران نیاز دارد

## راه اندازی برنامه

config برنامه :

در فایل «config.py» متغیرها را برای cralwer شخصی سازی کنید

### نصب requirements:

```bash
pip install -r requirements.txt
```

### اجرای برنامه :

```bash
python bot.py
```

### اطلاعات مرورگر :

Microsoft edge (Version 93.0.961.52 (Official build) (64-bit) )






# Divar.ir Crawler

This is a script to crawl on the site [divar.ir](https://divar.ir), can collect ads by city or category with restrictions on the number and can be ads and phone links Extract banner owners.
The script works with selenium which requires a browser web driver, I used the edge browser but you can modify it with your browser with a little editing.
The script needs an Iranian number to be able to extract phone numbers

## Start the app

### Config the app :

in `config.py` make customize the variables to crawler

### Install requirements :

```bash
pip install -r requirements.txt
```

### Run the app :

```bash
python bot.py
```

### Browser Info :

Microsoft edge (Version 93.0.961.52 (Official build) (64-bit) )