https://github.com/bytebuff/scrapingoutsourcing

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个
https://github.com/bytebuff/scrapingoutsourcing

appium crawler docker requests scrapy spider

Last synced: 4 months ago
JSON representation

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个

• Host: GitHub
• URL: https://github.com/bytebuff/scrapingoutsourcing
• Owner: bytebuff
• Created: 2019-08-15T07:34:40.000Z (over 6 years ago)
• Default Branch: master
• Last Pushed: 2020-05-20T06:32:04.000Z (almost 6 years ago)
• Last Synced: 2025-04-23T16:34:08.285Z (10 months ago)
• Topics: appium, crawler, docker, requests, scrapy, spider
• Language: Julia
• Homepage:
• Size: 47.9 MB
• Stars: 172
• Watchers: 11
• Forks: 45
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# ScrapingOutsourcing

#### 介绍

Scrapy爬虫项目！

#### 软件架构

软件主要包含一下文件夹：

- Code文件夹主要存放代码

- Doc文件夹主要存放文档

- Resource主要存放资源，包括数据等。

#### 使用说明

- 大部分程序是基于scrapy的爬虫项目

- scrapy程序拿来即用，支持scrapy1.8.0版本

- 非scrapy项目可能需要配合Selenium以及谷歌浏览器

#### 参与贡献

- 挖掘机小王子

- scrapy@qq.com