https://github.com/cs-magic-open/scrapy-spiders
使用Scrapy爬取主流网站的项目集合，持续更新。
https://github.com/cs-magic-open/scrapy-spiders
Last synced: 4 months ago
JSON representation
使用Scrapy爬取主流网站的项目集合，持续更新。
- Host: GitHub
- URL: https://github.com/cs-magic-open/scrapy-spiders
- Owner: cs-magic-open
- Created: 2020-02-11T20:11:45.000Z (over 6 years ago)
- Default Branch: master
- Last Pushed: 2024-11-13T19:41:57.000Z (over 1 year ago)
- Last Synced: 2025-04-10T09:48:13.848Z (about 1 year ago)
- Language: Python
- Size: 46.1 MB
- Stars: 10
- Watchers: 4
- Forks: 3
- Open Issues: 11
-
Metadata Files:
- Readme: readme.md
Awesome Lists containing this project
README
# Scrapy Anything
这是一个用**Scrapy大规模爬取各大主流网站**的项目集合。
- [x] 微博(.com主站)
- [x] 豆瓣 (2020/03/21)
- [ ] 淘宝
- [ ] 天猫
- [ ] 美团
- [ ] 微信公众号历史文章
- [ ] 微信小程序
- [ ] 抖音
- [ ] 亚马逊
- [ ] 雪球
- [ ] 知乎
- [ ] CSDN
- [ ] 知乎
- [ ] Github
- [ ] Others...
### TODO
- [ ] 爬虫自动化测试框架
- [ ] 单点测试
- [ ] 速率测试
- [ ] 并法测试
- [ ] 领域测试
- [ ] 界面开发
### About Me
数据采集、数据分析、数据可视化爱好者。
> 图片如无法显示，可参考这篇:- [【最新】解决github图片不显示的问题_Antrn的博客-CSDN博客](https://blog.csdn.net/qq_38232598/article/details/91346392)