https://github.com/CreditTone/studycrawler

爬虫从入门到入土心得体会
https://github.com/CreditTone/studycrawler

Last synced: 3 months ago
JSON representation

爬虫从入门到入土心得体会

• Host: GitHub
• URL: https://github.com/CreditTone/studycrawler
• Owner: CreditTone
• Created: 2020-04-12T09:34:24.000Z (over 4 years ago)
• Default Branch: master
• Last Pushed: 2020-04-12T09:37:48.000Z (over 4 years ago)
• Last Synced: 2024-05-20T13:31:10.733Z (6 months ago)
• Homepage:
• Size: 0 Bytes
• Stars: 8
• Watchers: 3
• Forks: 2
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

• awesome-hacking-lists - CreditTone/studycrawler - 爬虫从入门到入土心得体会 (Others)

README

        
### 怎样学习爬虫

#### 1、至少熟练python和其他一门语言，不包括js。但是js语法必须熟悉

	工具的语言实现的分散性：java有selenium、webmagic、jsoup、mitmproxy、frida（app）、xposed（app）、scrapy

	各平台系统原理的分散性：tcp网络协议、webkit内核、网站后台开发（反爬虫原理）、Android系统原理和应用开发、IOS（可选）、代理实现原理

	

#### 2、选择一个好的网课平台，推荐：i春秋学院

	书籍看看就好，掌握思路、学好套路。重现实操不是必须的

	网课一定要认真系统的学习，网络的知识更新比书籍来的更迅速

#### 3、多思考、深度思考、多交流

	不要崇尚任何大牛，但是要敢于去挑战权威。自己多实践。总结出适合自己操作的经验

	敢于怀疑网上老师讲的知识的实际应用性（深度思考），不要一味的相信

	找个内业顶尖的高手拜师，交点学费。高手不一定不是写书的人、做教程的人。但是某些公司里面拿着高薪的爬虫工程师，他一定有过人之处

#### 4、用多了别人的轮子，有想法可以自己造

	进一步全新的认识发动机原理