https://github.com/sunnywalden/leagues

主要联赛、俱乐部及球员信息爬虫
https://github.com/sunnywalden/leagues

football league scrapy scrapy-demo

Last synced: 30 days ago
JSON representation

主要联赛、俱乐部及球员信息爬虫

• Host: GitHub
• URL: https://github.com/sunnywalden/leagues
• Owner: sunnywalden
• License: apache-2.0
• Created: 2018-08-09T12:35:26.000Z (about 7 years ago)
• Default Branch: master
• Last Pushed: 2024-10-29T10:20:33.000Z (11 months ago)
• Last Synced: 2025-08-02T06:34:30.929Z (2 months ago)
• Topics: football, league, scrapy, scrapy-demo
• Language: Python
• Size: 3.36 MB
• Stars: 1
• Watchers: 1
• Forks: 0
• Open Issues: 7
• Metadata Files:
  • Readme: readme.md
  • License: LICENSE

Awesome Lists containing this project

README

          
一、项目介绍

通过sodasoccer.com爬虫主要联赛、联赛球队及球员信息分表存入MySQL，将logo、照片下载到本地。

二、效果图

图片下载效果：

![demo](demo/leagues_pirctures.png)

数据库一览：

![database](demo/leagues_data.png)

## 三、部署

### 3.1 部署依赖

请先部署mysql、redis、proxy_pool服务，推荐以docker方式部署

1)mysql、redis部署，参考官方文档；

2)proxy_pool部署，参考链接：

https://github.com/jhao104/proxy_pool?tab=readme-ov-file#docker-image

### 3.2 获取代码

```bash

git clone https://github.com/sunnywalden/leauges.git

```

### 3.3 安装依赖

```bash

pip install -r requirements.txt

```

### 3.4 运行项目

```bash

scrapy crawl leagues

```

## 四、感谢

代理使用了jhao104的[proxy_pool](https://github.com/jhao104/proxy_pool)项目，在此感谢！