https://github.com/codesofun/web-bee

🐝 Web vertical crawler framework for fun
https://github.com/codesofun/web-bee

crawler framework java java-8 webbee

Last synced: 7 days ago
JSON representation

🐝 Web vertical crawler framework for fun

• Host: GitHub
• URL: https://github.com/codesofun/web-bee
• Owner: codesofun
• License: mit
• Created: 2017-03-10T03:56:21.000Z (almost 8 years ago)
• Default Branch: master
• Last Pushed: 2023-12-16T17:31:01.000Z (about 1 year ago)
• Last Synced: 2025-01-11T12:48:58.282Z (12 days ago)
• Topics: crawler, framework, java, java-8, webbee
• Language: Java
• Homepage:
• Size: 240 KB
• Stars: 189
• Watchers: 23
• Forks: 38
• Open Issues: 30
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

        


# 停止维护



 

 


  

  

  

  



## webBee 为乐趣而爬

 

- `webBee` 基于`jdk8` 是一个持续成长的`垂直爬虫框架`项目 

- `webBee` 遵循`MIT`开源协议

- `webBee` 是一个不错的java进阶项目

- 欢迎大家贡献代码，如果觉得这个项目不错，请为它 `点赞`

### 演示站点

- http://gitrue.com (备案成功，开发中)

### 设计初衷

+ 设计简洁，面向接口

+ 配置简单，明了

+ 一次配置，自动匹配

### 涉及技术栈

- `httpcomponents`

- `jsoup`

- `redis`

-  `代理`

- `多线程`

 

+ 分布式爬取

+ 代理接口

+ 通过配置智能寻找目标 `url`

+ 图片、视频的处理

### todo

+ 制作一个炫酷的官网实例 

 

### 开源讨论群

- `147255248`  已解散

 

### 开源协议

- [MIT](LICENSE)