https://github.com/lingfromsh/simple-ticket
https://github.com/lingfromsh/simple-ticket
Last synced: 3 months ago
JSON representation
- Host: GitHub
- URL: https://github.com/lingfromsh/simple-ticket
- Owner: lingfromSh
- License: mit
- Created: 2020-04-19T05:52:23.000Z (about 5 years ago)
- Default Branch: master
- Last Pushed: 2020-04-19T05:59:49.000Z (about 5 years ago)
- Last Synced: 2025-01-09T03:50:04.263Z (5 months ago)
- Language: Python
- Size: 4.88 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# 项目简介
某某的妈妈参加了一项线上比赛,迫于对手的'疯狂'人气,尝试写下这个脚本,但没过一天故事发生了转折。
# 转折
迫于大家的'疯狂'人气,被禁止。
# 心得
真实公平,才是比赛的初衷哦!
科学爬虫才是真谛
0. 阅读robots.txt
1. 不给服务器增添压力
1. 随机间隔
2. 不要盯着一个地方
3. 根据接口的速度自适应地降低自己速度
2. 不要和别人盲目攀比,只是学习一种技术,明白差距在哪就好。
3. 验证码机制很重要,可以阻挡大部分低级爬虫。
4. 代码的结构很重要,开闭原则要遵守好,不要因为功能小就瞎来。
5. ip限制,可以记录ip设置一个短延时放到redis,如果redis中有就拒绝,但是感觉这样面对大量爬虫,redis会被干爆吧,可以在写到nginx的黑名单里。
6. Think Twice, Code Once.