https://github.com/camara94/le_guide_complet_scrapy_en_python

Le guide complet du framework scrapy en python
https://github.com/camara94/le_guide_complet_scrapy_en_python

data-science python scraping-websites scrapy

Last synced: 24 days ago
JSON representation

Le guide complet du framework scrapy en python

• Host: GitHub
• URL: https://github.com/camara94/le_guide_complet_scrapy_en_python
• Owner: camara94
• License: mit
• Created: 2022-02-28T02:59:47.000Z (over 4 years ago)
• Default Branch: main
• Last Pushed: 2022-02-28T06:25:37.000Z (over 4 years ago)
• Last Synced: 2025-04-09T14:46:33.991Z (over 1 year ago)
• Topics: data-science, python, scraping-websites, scrapy
• Language: Python
• Homepage:
• Size: 94.7 KB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

          
# Le Guide Complet Scrapy En Python

Le guide complet du framework scrapy en python 

## Type de Projet

Pour afficher les differents types de projet scrapy




    scrapy genspider -l





![image](images/1.png)

## Créer Un Projet Avec Un Template Basic

Si on ne spécifie rien, c'est le projet de type **basic** qui va être généré.

Exemple:




    scrapy genspider twitter twitter.com





* **twitter**: indique ici qu'on veut générer un projet du nom de twitter

*  **twitter.com**: indique ici qu'on veut récupérer les données à partir de twitter.com

![image](images/2.png)

## Créer Un Projet Avec Un Template Spécifique

Exemple:




    scrapy genspider -t crawl youtube_comment youtube.com





* **-t**: est l'option qui nous permet d'indiquer le template

![image](images/4.png)

## Crawl Spider

Concentrons-nous sur **Crawl Spider**:

* **name**: nous indique le nom de compilation de la classe

* **allow_domains**: nous les domains à scraper ou analyser

* **start_urls**: les urls de demarrages

* **rules**: contient les classes **LinkExtractor**