Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/TRHX/Python3-Spider-Practice

Python3 各种爬虫实战练习,JS 逆向、反反爬、验证码处理、登录签到抽奖、数据可视化,Python 3 practice of various spiders.
https://github.com/TRHX/Python3-Spider-Practice

jsreverse python python3-spider-practice spider spiders

Last synced: 3 months ago
JSON representation

Python3 各种爬虫实战练习,JS 逆向、反反爬、验证码处理、登录签到抽奖、数据可视化,Python 3 practice of various spiders.

Awesome Lists containing this project

README

        

Python3 Spider Practice —— Python3 爬虫实战练习






CSDN 爬虫实战专栏
  

个人博客爬虫实战专栏






BLOG URL
  

CSDN URL
  

Zhihu URL
  

MAIL
  

GitHub followers
  

GitHub Repo stars






Python3 Spider Practice
微信公众号:K哥爬虫

---

## 关于 💡

- ❗ 主要保存了本人在学习爬虫过程中写的代码,稍微复杂一点的在我博客里面有写分析过程,比较简单的项目,分析思路会直接写在 README 里面。

- ❗ 项目中部分代码可能已失效,原因可能是反爬措施更新、页面结构发生变化等,失效的可以提 issue,有时间会更新代码。

- ❗ **本仓库中所有内容仅供学习交流,严禁用于商业用途、非法用途,否则由此产生的一切后果均与作者无关,在本仓库中下载的文件学习完毕之后请于 24 小时内删除。**

## 分类 🏷️

- **[Material](https://github.com/TRHX/Python3-Spider-Practice/tree/master/Material)**:爬虫相关资料,均从互联网收集;

- **[AutomationTool](https://github.com/TRHX/Python3-Spider-Practice#automationtool-%E8%87%AA%E5%8A%A8%E5%8C%96%E5%B7%A5%E5%85%B7)**:使用自动化工具进行数据采集、验证码处理等;

- **[BasicTraining](https://github.com/TRHX/Python3-Spider-Practice#basictraining-%E5%9F%BA%E7%A1%80%E8%AE%AD%E7%BB%83)**:基础训练,一般是比较简单的爬虫;

- **[CommentPlugin](https://github.com/TRHX/Python3-Spider-Practice#commentplugin-%E8%AF%84%E8%AE%BA%E6%8F%92%E4%BB%B6)**:针对各大评论插件的爬虫,如 Facebook 评论插件等;

- **[FightAgainstSpider](https://github.com/TRHX/Python3-Spider-Practice#fightagainstspider-%E5%8F%8D%E5%8F%8D%E7%88%AC)**:针对常见的反爬虫手段的爬虫,如字体加密等;

- **[JSReverse](https://github.com/TRHX/Python3-Spider-Practice#jsreverse-js-%E9%80%86%E5%90%91)**:JS 加密解密、JS 逆向相关文章,重点关注逆向解密过程;【可以关注 [K 哥爬虫](https://blog.csdn.net/kdl_csdn) 同步更新】

- **[SignIn](https://github.com/TRHX/Python3-Spider-Practice#signin-%E7%AD%BE%E5%88%B0%E6%8A%BD%E5%A5%96)**:针对各种签到、抽奖的爬虫;

- **[SpiderDataVisualization](https://github.com/TRHX/Python3-Spider-Practice#spiderdatavisualization-%E6%95%B0%E6%8D%AE%E5%8F%AF%E8%A7%86%E5%8C%96)**:爬虫与数据可视化,如 COVID-19 数据可视化等。

## 目录 📑


目标 / 文章
代码



BasicTraining 基础训练




安居客武汉二手房【Beautiful Soup、CSV】

anjuke




豆瓣电影TOP250【Xpath、正则表达式、CSV】

douban-top250




瓜子全国二手车【Cookie、XPath、MongoDB】

guazi




虎扑论坛步行街【Beautiful Soup、MongoDB】

hupu




猫眼电影TOP100【lxml、Xpath、CSV 】

maoyan-top100




AutomationTool 自动化工具




模拟登陆哔哩哔哩【滑动验证码、Selenium】

bilibili-login




模拟登陆12306【点触验证码、Selenium】

12306-login




SpiderDataVisualization 数据可视化




前程无忧招聘信息【MongoDB、Numpy、Pandas、Matplotlib】

51job




COVID-19 肺炎疫情数据实时监控【openpyxl、pyecharts、wordcloud】

COVID-19




SignIn 签到抽奖




CSDN 自动签到抽奖【GitHub Actions、钉钉、企业微信机器人】

csdn-sign-in




CommentPlugin 评论插件




Facebook 评论插件、留言外挂程序

facebook-comments



Vuukle 评论插件

vuukle-comments




FightAgainstSpider 反反爬




58同城武汉出租房【网站加密字体、MySQL】


58tongcheng




JSReverse JS 逆向




JS 逆向百例




【爬虫知识】浏览器开发者工具使用技巧总结


\




【爬虫知识】爬虫常见加密解密算法


\




【JS 逆向百例】百度翻译接口参数逆向


fanyi_baidu_com




【JS 逆向百例】有道翻译接口参数逆向


fanyi_youdao_com




【JS 逆向百例】建筑市场监管服务平台企业数据


jzsc_mohurd_gov_cn




【JS 逆向百例】当乐网登录接口参数逆向


oauth_d_cn




【JS 逆向百例】房天下登录接口参数逆向


passport_fang_com




【JS 逆向百例】37网游登录接口参数逆向


www_37_com




【JS 逆向百例】层层嵌套!匀加速商城 RSA 加密


www_15yunmall_com




【JS 逆向百例】转变思路,少走弯路,小米加密分析


account_xiaomi_com




【JS 逆向百例】元素ID定位加密位置,天凤麻将数据逆向


tenhou_net




【JS 逆向百例】复杂的登录过程,最新微博逆向


weibo_com




【JS 逆向百例】无限debugger绕过,三河市政务网站互动数据逆向


zwfw_san-he_gov_cn




【JS 逆向百例】DOM事件断点调试,中烟新商盟登录逆向


应版权方要求已删除




【JS 逆向百例】XHR 断点调试,Steam 登录逆向


store_steampowered_com




【JS 逆向百例】如何跟栈调试?某 e 网通 AES 加密分析


web_ewt360_com




JS 逆向之 Hook,吃着火锅唱着歌,突然就被麻匪劫了!


\




【JS 逆向百例】Fiddler 插件 Hook 实战,某创帮登录逆向


m_wcbchina_com




【JS 逆向百例】浏览器插件 Hook 实战,亚航加密参数分析


www_airasia_com




爬虫逆向基础,理解 JavaScript 模块化编程 webpack


\




当爬虫工程师遇到CTF丨B站1024安全攻防题解


\




【JS 逆向百例】webpack 改写实战,G 某游戏 RSA 加密


www_gm99_com




【JS逆向百例】某音乐网分离式 webpack 非 IIFE 改写实战


www_kuwo_cn




爬虫逆向基础,认识 SM1-SM9、ZUC 国密算法


\




【JS 逆向百例】医保局 SM2+SM4 国产加密算法实战


fuwu_nhsa_gov_cn




【JS 逆向百例】某易支付密码 MD5+AES 加密分析


epay_163_com




【JS 逆向百例】cnki 学术翻译 AES 加密分析


dict_cnki_net




【JS 逆向百例】Ether Rock 空投接口 AES256 加密分析


etherrock_ne




【JS 逆向百例】你没见过的社会主义核心价值观加密


www_appmiu_com




【JS 逆向百例】反混淆入门,某鹏教育 JS 混淆还原


learn_open_com_cn




【JS 逆向百例】W店UA,OB反混淆,抓包替换CORS跨域错误分析


d_weidian_com




【JS 逆向百例】WebSocket 协议爬虫,智慧树扫码登录案例分析


passport_zhihuishu_com




【JS 逆向百例】网洛者反爬练习平台第一题:JS 混淆加密,反 Hook 操作


spider_wangluozhe_com_challenge_1




【JS 逆向百例】网洛者反爬练习平台第二题:JJEncode 加密


spider_wangluozhe_com_challenge_2




【JS 逆向百例】网洛者反爬练习平台第三题:AAEncode 加密


spider_wangluozhe_com_challenge_3




【JS 逆向百例】网洛者反爬练习平台第四题:JSFuck 加密


spider_wangluozhe_com_challenge_4




【JS 逆向百例】网洛者反爬练习平台第五题:控制台反调试


spider_wangluozhe_com_challenge_5




【JS 逆向百例】网洛者反爬练习平台第六题:JS 加密,环境模拟检测


spider_wangluozhe_com_challenge_6




【JS 逆向百例】X球投资者社区 cookie 参数 acw_sc__v2 加密分析


xueqiu_com




【JS 逆向百例】PEDATA 加密资讯以及 zlib.gunzipSync() 的应用


max_pedata_cn




某空气质量监测平台无限 debugger 以及数据动态加密分析


www_aqistudy_cn




【JS 逆向百例】HN政务服务网登录逆向,验证码形同虚设


www_hnzwfw_gov_cn




【JS 逆向百例】吾爱破解2022春节解题领红包之番外篇 Web 中级题解


\




RPC 技术及其框架 Sekiro 在爬虫逆向中的应用,加密数据一把梭!


\




深度剖析 JA3 指纹及突破


\




【JS 逆向百例】拉勾网爬虫,traceparent、__lg_stoken__、X-S-HEADER 等参数分析


www_lagou_com



华强电子网登录

passport_hqew_com



学易云登录

passport_xueyiyun_com



天安保险登录

tianaw_95505_cn



宁波大学登录

uis_nbu_edu_cn



航班管家人口流动大数据

unicom_trip_133_cn



惠金所登录

www_hfax_com



咪咕视频登录

www_miguvideo_com



企名片创业项目数据

www_qimingpian_cn



中国移动掌上门户登录

wap_10086_cn



中国联通网上营业厅登录

uac_10010_com



中国电信网上营业厅登录

login_189_cn



爱应用登录

www_iappstoday_com



360 登录

i_360_cn



1号店登录

passport_yhd_com



魅族登录

login_flyme_cn

## 交流群💬


K哥爬虫交流群