Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/Python3Spiders/WeiboSuperSpider
微博爬虫及配套工具箱，微博用户、话题、评论采集一网打尽。图片下载、情感分析，地理位置、关系网络、spammer 机器人识别等功能应有尽有。Docs：https://buyixiao.github.io/blog/weibo-super-spider.html 配套可视化网站：https://buyixiao.github.io/blog/one-stop-weibo-visualization.html
https://github.com/Python3Spiders/WeiboSuperSpider
emotion-analysis location-tracker weibo-comment-crawl weibo-image weibo-spider weibocrawler weibospider
Last synced: 4 days ago
JSON representation
微博爬虫及配套工具箱，微博用户、话题、评论采集一网打尽。图片下载、情感分析，地理位置、关系网络、spammer 机器人识别等功能应有尽有。Docs：https://buyixiao.github.io/blog/weibo-super-spider.html 配套可视化网站：https://buyixiao.github.io/blog/one-stop-weibo-visualization.html
- Host: GitHub
- URL: https://github.com/Python3Spiders/WeiboSuperSpider
- Owner: Python3Spiders
- License: apache-2.0
- Created: 2019-10-12T12:14:02.000Z (about 5 years ago)
- Default Branch: master
- Last Pushed: 2023-04-23T16:19:50.000Z (over 1 year ago)
- Last Synced: 2024-11-05T04:02:36.803Z (8 days ago)
- Topics: emotion-analysis, location-tracker, weibo-comment-crawl, weibo-image, weibo-spider, weibocrawler, weibospider
- Language: Python
- Homepage:
- Size: 326 KB
- Stars: 1,595
- Watchers: 23
- Forks: 334
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- Funding: .github/FUNDING.yml
- License: LICENSE
Awesome Lists containing this project
README
### 项目简介
微博爬虫及配套工具箱，一站式微博爬虫采集、分析、可视化工具。微博用户、话题、评论爬虫一网打尽；图片下载、情感分析，地理位置、关系网络、机器人识别等功能应有尽有。
项目遵循以下两个设计原则：
- 爬虫抓取的数据保存在 Excel 可以打开的 CSV 中，不依赖任何数据库。
- 每个功能 Feat 对应的爬虫文件都是相互独立的，不存在依赖关系，虽然不利于维护和重构，但是对于使用者友好。
### 作者简介
|作者|[inspurer](https://inspurer.github.io/2018/06/07/%E6%9C%88%E5%B0%8F%E6%B0%B4%E9%95%BF%E7%9A%84%E7%94%B1%E6%9D%A5/#more)|
|:---:|:---:|
|QQ交流群|[751114777](https://jq.qq.com/?_wv=1027&k=BJI3pLAq)|
|个人博客|[https://buyixiao.github.io/](https://inspurer.github.io/)|
### 项目资料
|Docs|[2022 最新指南 ](https://buyixiao.github.io/blog/weibo-super-spider.html)|
|:---:|:---:|
|配套的自助抓取网站（顺带任意深度和广度的微博用户关系（关注/粉丝）网络构建、任意深度和广度的微博转发路径网络、微博、评论、签到等数据集在线构建）、微博 Spammer 识别|[execute data crawling without any environment setting](https://weibo-crawl-visual.buyixiao.xyz/)|
|配套的微博可视化网站|[https://buyixiao.github.io/blog/one-stop-weibo-visualization.html](https://buyixiao.github.io/blog/one-stop-weibo-visualization.html)|
| 包含世界、中国-省-市地图和动态排序柱状图、桑基图、关系图、弦图、旭日图、树图、矩形树图等图表在线配置数据可视化工具网站|[https://tools.buyixiao.xyz/](https://tools.buyixiao.xyz/)|
|微博签到相关可视化 B 站教程|[https://www.bilibili.com/video/BV1S14y1x73y](https://www.bilibili.com/video/BV1S14y1x73y)|
### 项目声明
If you use this project in your research, please cite this project.
```
@misc{WeiboSuperSpider,
author = {Tao Xiao},
title = {微博超级爬虫，最强微博爬虫，用户、话题、评论一网打尽。图片下载、情感分析，地理位置、关系网络等功能应有尽有。},
year = {2019},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/Python3Spiders/WeiboSuperSpider}},
}
```