https://github.com/wangy8961/python3-concurrency-pics-02
爬取 www.mzitu.com 全站图片，截至目前共5162个图集，16.5万多张美女图片，使用 asyncio 和 aiohttp 实现的异步版本只需要不到2小时就能爬取完成。按日期创建图集目录，保存更合理。控制台只显示下载的进度条，详细信息保存在日志文件中。支持异常处理，不会终止爬虫程序。失败的请求，下次再执行爬虫程序时会自动下载
https://github.com/wangy8961/python3-concurrency-pics-02
aiohttp asyncio concurrency coroutine futures progressbar python3 requests threadpool
Last synced: 6 months ago
JSON representation
爬取 www.mzitu.com 全站图片，截至目前共5162个图集，16.5万多张美女图片，使用 asyncio 和 aiohttp 实现的异步版本只需要不到2小时就能爬取完成。按日期创建图集目录，保存更合理。控制台只显示下载的进度条，详细信息保存在日志文件中。支持异常处理，不会终止爬虫程序。失败的请求，下次再执行爬虫程序时会自动下载
- Host: GitHub
- URL: https://github.com/wangy8961/python3-concurrency-pics-02
- Owner: wangy8961
- Created: 2018-08-27T03:39:17.000Z (about 7 years ago)
- Default Branch: master
- Last Pushed: 2019-08-27T01:21:28.000Z (about 6 years ago)
- Last Synced: 2025-04-02T10:12:51.676Z (6 months ago)
- Topics: aiohttp, asyncio, concurrency, coroutine, futures, progressbar, python3, requests, threadpool
- Language: Python
- Homepage: http://www.madmalls.com/blog/post/python3-concurrency-pics-02/
- Size: 113 KB
- Stars: 330
- Watchers: 18
- Forks: 85
- Open Issues: 1