Projects in Awesome Lists tagged with deadpool
A curated list of projects in awesome lists tagged with deadpool .
https://github.com/ryuchen/deadpool
该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。
celery crawler deadpool python3 spider taobao taobao-spider tmall tmall-spider
Last synced: 21 Mar 2025
