https://github.com/dukegod/spider

爬虫小程序
https://github.com/dukegod/spider

Last synced: 8 days ago
JSON representation

爬虫小程序

• Host: GitHub
• URL: https://github.com/dukegod/spider
• Owner: dukegod
• Created: 2015-09-27T21:30:36.000Z (over 9 years ago)
• Default Branch: master
• Last Pushed: 2019-03-17T15:31:56.000Z (almost 6 years ago)
• Last Synced: 2024-11-12T16:31:05.456Z (2 months ago)
• Language: JavaScript
• Size: 2.43 MB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# spider

爬虫小程序

```

supervisor app.js

```

自动刷新

注意查看robot.txt

使用eventproxy控制并发

[eventproxy](https://github.com/JacksonTian/eventproxy)

或者使用async

[async](https://github.com/caolan/async)

当你需要去多个源(一般是小于 10 个)汇总数据的时候，用 eventproxy 方便；当你需要用到队列，   

需要控制并发数，或者你喜欢函数式编程思维时，使用 async。大部分场景是前者，所以我个人大部分时间是用 eventproxy 的。

技术点：

+ cheerio

+ request