https://github.com/CreditTone/studycrawler
爬虫从入门到入土心得体会
https://github.com/CreditTone/studycrawler
Last synced: 4 months ago
JSON representation
爬虫从入门到入土心得体会
- Host: GitHub
- URL: https://github.com/CreditTone/studycrawler
- Owner: CreditTone
- Created: 2020-04-12T09:34:24.000Z (over 5 years ago)
- Default Branch: master
- Last Pushed: 2020-04-12T09:37:48.000Z (over 5 years ago)
- Last Synced: 2024-11-10T10:19:25.641Z (12 months ago)
- Homepage:
- Size: 0 Bytes
- Stars: 8
- Watchers: 3
- Forks: 2
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
- awesome-hacking-lists - CreditTone/studycrawler - 爬虫从入门到入土心得体会 (Others)
README
### 怎样学习爬虫
#### 1、至少熟练python和其他一门语言，不包括js。但是js语法必须熟悉
工具的语言实现的分散性：java有selenium、webmagic、jsoup、mitmproxy、frida（app）、xposed（app）、scrapy
各平台系统原理的分散性：tcp网络协议、webkit内核、网站后台开发（反爬虫原理）、Android系统原理和应用开发、IOS（可选）、代理实现原理
#### 2、选择一个好的网课平台，推荐：i春秋学院
书籍看看就好，掌握思路、学好套路。重现实操不是必须的
网课一定要认真系统的学习，网络的知识更新比书籍来的更迅速
#### 3、多思考、深度思考、多交流
不要崇尚任何大牛，但是要敢于去挑战权威。自己多实践。总结出适合自己操作的经验
敢于怀疑网上老师讲的知识的实际应用性（深度思考），不要一味的相信
找个内业顶尖的高手拜师，交点学费。高手不一定不是写书的人、做教程的人。但是某些公司里面拿着高薪的爬虫工程师，他一定有过人之处
#### 4、用多了别人的轮子，有想法可以自己造
进一步全新的认识发动机原理