Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/TRHX/Python3-Spider-Practice
Python3 各种爬虫实战练习,JS 逆向、反反爬、验证码处理、登录签到抽奖、数据可视化,Python 3 practice of various spiders.
https://github.com/TRHX/Python3-Spider-Practice
jsreverse python python3-spider-practice spider spiders
Last synced: 3 months ago
JSON representation
Python3 各种爬虫实战练习,JS 逆向、反反爬、验证码处理、登录签到抽奖、数据可视化,Python 3 practice of various spiders.
- Host: GitHub
- URL: https://github.com/TRHX/Python3-Spider-Practice
- Owner: TRHX
- Created: 2019-09-29T15:46:22.000Z (about 5 years ago)
- Default Branch: master
- Last Pushed: 2022-07-22T03:12:36.000Z (over 2 years ago)
- Last Synced: 2024-07-28T23:32:18.425Z (3 months ago)
- Topics: jsreverse, python, python3-spider-practice, spider, spiders
- Language: JavaScript
- Homepage: https://www.itbob.cn
- Size: 24.5 MB
- Stars: 316
- Watchers: 5
- Forks: 100
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
- awesome-seeds - Python3 Spider Practice
README
Python3 Spider Practice —— Python3 爬虫实战练习
---
## 关于 💡
- ❗ 主要保存了本人在学习爬虫过程中写的代码,稍微复杂一点的在我博客里面有写分析过程,比较简单的项目,分析思路会直接写在 README 里面。
- ❗ 项目中部分代码可能已失效,原因可能是反爬措施更新、页面结构发生变化等,失效的可以提 issue,有时间会更新代码。
- ❗ **本仓库中所有内容仅供学习交流,严禁用于商业用途、非法用途,否则由此产生的一切后果均与作者无关,在本仓库中下载的文件学习完毕之后请于 24 小时内删除。**
## 分类 🏷️
- **[Material](https://github.com/TRHX/Python3-Spider-Practice/tree/master/Material)**:爬虫相关资料,均从互联网收集;
- **[AutomationTool](https://github.com/TRHX/Python3-Spider-Practice#automationtool-%E8%87%AA%E5%8A%A8%E5%8C%96%E5%B7%A5%E5%85%B7)**:使用自动化工具进行数据采集、验证码处理等;
- **[BasicTraining](https://github.com/TRHX/Python3-Spider-Practice#basictraining-%E5%9F%BA%E7%A1%80%E8%AE%AD%E7%BB%83)**:基础训练,一般是比较简单的爬虫;
- **[CommentPlugin](https://github.com/TRHX/Python3-Spider-Practice#commentplugin-%E8%AF%84%E8%AE%BA%E6%8F%92%E4%BB%B6)**:针对各大评论插件的爬虫,如 Facebook 评论插件等;
- **[FightAgainstSpider](https://github.com/TRHX/Python3-Spider-Practice#fightagainstspider-%E5%8F%8D%E5%8F%8D%E7%88%AC)**:针对常见的反爬虫手段的爬虫,如字体加密等;
- **[JSReverse](https://github.com/TRHX/Python3-Spider-Practice#jsreverse-js-%E9%80%86%E5%90%91)**:JS 加密解密、JS 逆向相关文章,重点关注逆向解密过程;【可以关注 [K 哥爬虫](https://blog.csdn.net/kdl_csdn) 同步更新】
- **[SignIn](https://github.com/TRHX/Python3-Spider-Practice#signin-%E7%AD%BE%E5%88%B0%E6%8A%BD%E5%A5%96)**:针对各种签到、抽奖的爬虫;
- **[SpiderDataVisualization](https://github.com/TRHX/Python3-Spider-Practice#spiderdatavisualization-%E6%95%B0%E6%8D%AE%E5%8F%AF%E8%A7%86%E5%8C%96)**:爬虫与数据可视化,如 COVID-19 数据可视化等。
## 目录 📑
目标 / 文章
代码
安居客武汉二手房【Beautiful Soup、CSV】
anjuke
豆瓣电影TOP250【Xpath、正则表达式、CSV】
douban-top250
瓜子全国二手车【Cookie、XPath、MongoDB】
guazi
虎扑论坛步行街【Beautiful Soup、MongoDB】
hupu
猫眼电影TOP100【lxml、Xpath、CSV 】
maoyan-top100
模拟登陆哔哩哔哩【滑动验证码、Selenium】
bilibili-login
模拟登陆12306【点触验证码、Selenium】
12306-login
前程无忧招聘信息【MongoDB、Numpy、Pandas、Matplotlib】
51job
COVID-19 肺炎疫情数据实时监控【openpyxl、pyecharts、wordcloud】
COVID-19
CSDN 自动签到抽奖【GitHub Actions、钉钉、企业微信机器人】
csdn-sign-in
Facebook 评论插件、留言外挂程序
facebook-comments
Vuukle 评论插件
vuukle-comments
58同城武汉出租房【网站加密字体、MySQL】
58tongcheng
【爬虫知识】浏览器开发者工具使用技巧总结
\
【爬虫知识】爬虫常见加密解密算法
\
【JS 逆向百例】百度翻译接口参数逆向
fanyi_baidu_com
【JS 逆向百例】有道翻译接口参数逆向
fanyi_youdao_com
【JS 逆向百例】建筑市场监管服务平台企业数据
jzsc_mohurd_gov_cn
【JS 逆向百例】当乐网登录接口参数逆向
oauth_d_cn
【JS 逆向百例】房天下登录接口参数逆向
passport_fang_com
【JS 逆向百例】37网游登录接口参数逆向
www_37_com
【JS 逆向百例】层层嵌套!匀加速商城 RSA 加密
www_15yunmall_com
【JS 逆向百例】转变思路,少走弯路,小米加密分析
account_xiaomi_com
【JS 逆向百例】元素ID定位加密位置,天凤麻将数据逆向
tenhou_net
【JS 逆向百例】复杂的登录过程,最新微博逆向
weibo_com
【JS 逆向百例】无限debugger绕过,三河市政务网站互动数据逆向
zwfw_san-he_gov_cn
【JS 逆向百例】DOM事件断点调试,中烟新商盟登录逆向
应版权方要求已删除
【JS 逆向百例】XHR 断点调试,Steam 登录逆向
store_steampowered_com
【JS 逆向百例】如何跟栈调试?某 e 网通 AES 加密分析
web_ewt360_com
JS 逆向之 Hook,吃着火锅唱着歌,突然就被麻匪劫了!
\
【JS 逆向百例】Fiddler 插件 Hook 实战,某创帮登录逆向
m_wcbchina_com
【JS 逆向百例】浏览器插件 Hook 实战,亚航加密参数分析
www_airasia_com
爬虫逆向基础,理解 JavaScript 模块化编程 webpack
\
当爬虫工程师遇到CTF丨B站1024安全攻防题解
\
【JS 逆向百例】webpack 改写实战,G 某游戏 RSA 加密
www_gm99_com
【JS逆向百例】某音乐网分离式 webpack 非 IIFE 改写实战
www_kuwo_cn
爬虫逆向基础,认识 SM1-SM9、ZUC 国密算法
\
【JS 逆向百例】医保局 SM2+SM4 国产加密算法实战
fuwu_nhsa_gov_cn
【JS 逆向百例】某易支付密码 MD5+AES 加密分析
epay_163_com
【JS 逆向百例】cnki 学术翻译 AES 加密分析
dict_cnki_net
【JS 逆向百例】Ether Rock 空投接口 AES256 加密分析
etherrock_ne
【JS 逆向百例】你没见过的社会主义核心价值观加密
www_appmiu_com
【JS 逆向百例】反混淆入门,某鹏教育 JS 混淆还原
learn_open_com_cn
【JS 逆向百例】W店UA,OB反混淆,抓包替换CORS跨域错误分析
d_weidian_com
【JS 逆向百例】WebSocket 协议爬虫,智慧树扫码登录案例分析
passport_zhihuishu_com
【JS 逆向百例】网洛者反爬练习平台第一题:JS 混淆加密,反 Hook 操作
spider_wangluozhe_com_challenge_1
【JS 逆向百例】网洛者反爬练习平台第二题:JJEncode 加密
spider_wangluozhe_com_challenge_2
【JS 逆向百例】网洛者反爬练习平台第三题:AAEncode 加密
spider_wangluozhe_com_challenge_3
【JS 逆向百例】网洛者反爬练习平台第四题:JSFuck 加密
spider_wangluozhe_com_challenge_4
【JS 逆向百例】网洛者反爬练习平台第五题:控制台反调试
spider_wangluozhe_com_challenge_5
【JS 逆向百例】网洛者反爬练习平台第六题:JS 加密,环境模拟检测
spider_wangluozhe_com_challenge_6
【JS 逆向百例】X球投资者社区 cookie 参数 acw_sc__v2 加密分析
xueqiu_com
【JS 逆向百例】PEDATA 加密资讯以及 zlib.gunzipSync() 的应用
max_pedata_cn
某空气质量监测平台无限 debugger 以及数据动态加密分析
www_aqistudy_cn
【JS 逆向百例】HN政务服务网登录逆向,验证码形同虚设
www_hnzwfw_gov_cn
【JS 逆向百例】吾爱破解2022春节解题领红包之番外篇 Web 中级题解
\
RPC 技术及其框架 Sekiro 在爬虫逆向中的应用,加密数据一把梭!
\
深度剖析 JA3 指纹及突破
\
【JS 逆向百例】拉勾网爬虫,traceparent、__lg_stoken__、X-S-HEADER 等参数分析
www_lagou_com
华强电子网登录
passport_hqew_com
学易云登录
passport_xueyiyun_com
天安保险登录
tianaw_95505_cn
宁波大学登录
uis_nbu_edu_cn
航班管家人口流动大数据
unicom_trip_133_cn
惠金所登录
www_hfax_com
咪咕视频登录
www_miguvideo_com
企名片创业项目数据
www_qimingpian_cn
中国移动掌上门户登录
wap_10086_cn
中国联通网上营业厅登录
uac_10010_com
中国电信网上营业厅登录
login_189_cn
爱应用登录
www_iappstoday_com
360 登录
i_360_cn
1号店登录
passport_yhd_com
魅族登录
login_flyme_cn
## 交流群💬