https://github.com/elifftosunn/bank-scrapy
Scrapy, Python'da yazılmış, ücretsiz ve açık kaynaklı bir web tarama çerçevesidir. Orijinal olarak web kazıma için tasarlanmış olup, API'leri kullanarak veya genel amaçlı bir web tarayıcısı olarak veri çıkarmak için de kullanılabilir.
https://github.com/elifftosunn/bank-scrapy
itemadapter logging pymongo python3 request scrapy scrapy-splash time
Last synced: 2 months ago
JSON representation
Scrapy, Python'da yazılmış, ücretsiz ve açık kaynaklı bir web tarama çerçevesidir. Orijinal olarak web kazıma için tasarlanmış olup, API'leri kullanarak veya genel amaçlı bir web tarayıcısı olarak veri çıkarmak için de kullanılabilir.
- Host: GitHub
- URL: https://github.com/elifftosunn/bank-scrapy
- Owner: elifftosunn
- License: mit
- Created: 2022-11-03T14:45:56.000Z (over 2 years ago)
- Default Branch: master
- Last Pushed: 2023-03-06T02:28:32.000Z (about 2 years ago)
- Last Synced: 2025-01-21T21:35:31.243Z (4 months ago)
- Topics: itemadapter, logging, pymongo, python3, request, scrapy, scrapy-splash, time
- Language: Python
- Homepage:
- Size: 2.37 MB
- Stars: 0
- Watchers: 1
- Forks: 1
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
Scrapy
Scrapy, Python'da yazılmış, ücretsiz ve açık kaynaklı bir web tarama çerçevesidir. Orijinal olarak web kazıma için tasarlanmış olup, API'leri kullanarak veya genel amaçlı bir web tarayıcısı olarak veri çıkarmak için de kullanılabilir
Müşteriler, ürünleriniz ve hizmetleriniz hakkında sosyal medya, çevrimiçi forumlar ve hemen hemen tüm internet üzerinden istenmeyen geri bildirimler bırakıyor. Bu araç Sikayetvar sitesinden banka müşterilerinin hesap işlemleri,kredi kartları, atm işlemleri,kredi işlemleri gibi banka işlemleri hakkında sorunlarını dile getirdikleri verileri çekmek için yazılan bir bot aracıdır. Scrapy web sayfasını doğrudan kazıyamadığı için HTTP API'sine sahip hafif bir tarayıcı olarak scrapy-splash kullanılmıştır.
Gereklilikler
```
pip install Scrapy
```
```
pip install scrapy-splash
```
Bot Uygulama Aşamaları
Terminal üzerinden projeyi başlatmak
```
scrapy startproject whiskyscraper
```
Proje üzerinde uygulamanın gerçekleşeceği dizine gitmek
```
cd whiskyscraper/whiskyscraper
```
Kabuğa geri dönmek
```
scrapy shell
```
Url'e request göndermek
```
fetch('https://www.sikayetvar.com/banka')
```
Html tag'lerine göre verileri çekmek için scrapy selector documentasyon:
- https://docs.scrapy.org/en/latest/topics/selectors.html
Response ile seçilen bir div tag'indeki class'a ait python kodu:
```
response.css(div.class)
```
Uygulamayı Çalıştırma ve Csv Dosyasına Kaydetme
```
scrapy crawl bankscraper -O bank.csv
```