https://github.com/programming-with-love/skyeyesystem

天眼系统，每隔十分钟爬取各个平台的热搜数据并入库。包括原始热搜数据存入mysql。词频统计存入Redis。
https://github.com/programming-with-love/skyeyesystem

crawler mysql redis skyeye skyeyewall springboot

Last synced: about 17 hours ago
JSON representation

天眼系统，每隔十分钟爬取各个平台的热搜数据并入库。包括原始热搜数据存入mysql。词频统计存入Redis。

• Host: GitHub
• URL: https://github.com/programming-with-love/skyeyesystem
• Owner: Programming-With-Love
• License: mit
• Created: 2023-06-15T06:07:36.000Z (over 1 year ago)
• Default Branch: master
• Last Pushed: 2023-06-21T01:54:25.000Z (over 1 year ago)
• Last Synced: 2024-11-16T03:54:01.253Z (about 17 hours ago)
• Topics: crawler, mysql, redis, skyeye, skyeyewall, springboot
• Language: HTML
• Homepage:
• Size: 169 KB
• Stars: 1
• Watchers: 1
• Forks: 3
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

        
SkyEyeSystem


  


     一个基于SpringBoot的全网热点爬虫项目

    


    中文

    ·

    English

  


  目录

  


    


      关于项目

    

    


      快速启动

      


        
先决条件

        
安装

      

    

    
使用

    
贡献

    
许可证

    
联系

  


## 关于项目

每天下午三点定时爬取全网热搜数据。包括

- 微博热搜

- B站热搜

- CSDN热搜

- 知乎热搜

- 今日头条

- 百度热搜

爬取数据之后

1. 会将原始数据存入MySQL。

2. 进行词频统计 存入Redis。

## 快速启动

此处说明了如何快速的使用本项目

### 先决条件

确保您的安装器是Maven

### 安装

1. maven sync

2. 执行SQL脚本 [SQL脚本](src/main/resources/db/ddl.sql)

3. application中配置您的数据库地址

4. db/config中配置redis地址。

5. 启动即可。

## 使用

#### 1. 手动执行爬虫操作

执行[HotSpotCrawlerTest.java](src/test/java/cn/shoxiongdu/SkyEyeSystem/task/hotspot/crawl/BiliBiliCrawlerTest.java)

#### 2. 配置爬虫的执行时间

修改[爬虫任务](src/main/java/cn/shoxiongdu/SkyEyeSystem/task/hotspot/crawl/CrawlerTask.java)中的注解值即可。

接收标准的CRON参数。 可使用[Cron在线表达式生成器](http://cron.ciding.cc/) 在线生成

```java

@Scheduled(cron = "0 0 15 * * ?") // 每天下午3点执行

public void crawl(){

        ...

        }

```

## 贡献

贡献使开源社区成为一个学习、激励和创造的绝佳场所。非常感谢您所做的任何贡献。

1.fork项目

2.创建功能分支（`git checkout-b Feature/AamazingFeature`）

3.提交更改（`git-Commit-m'添加一些AmazingFeature`）

4.推送至分支（`git Push origin feature/AamazingFeature`）

5.打开拉取请求

## 许可证

基于MIT的许可证分发，传输请遵循相关开源协议: [MIT许可证](LICENSE )

## 联系

- 杜少雄 [email protected]

- 微信: 15603430511

- 个人博客: https://shaoxiongdu.cn