Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/wanghan0501/WiFiProbeAnalysis
基于WIFI探针的商业大数据分析技术
https://github.com/wanghan0501/WiFiProbeAnalysis
Last synced: 3 months ago
JSON representation
基于WIFI探针的商业大数据分析技术
- Host: GitHub
- URL: https://github.com/wanghan0501/WiFiProbeAnalysis
- Owner: wanghan0501
- License: other
- Created: 2017-08-24T01:33:24.000Z (about 7 years ago)
- Default Branch: master
- Last Pushed: 2022-11-16T08:59:14.000Z (almost 2 years ago)
- Last Synced: 2024-04-16T19:35:24.568Z (7 months ago)
- Language: Java
- Homepage:
- Size: 7.72 MB
- Stars: 288
- Watchers: 22
- Forks: 141
- Open Issues: 26
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Wi-Fi Probe Analysis
[](https://996.icu)
> WIFI探针是一种可以记录附近mac地址的嗅探器，可以根据收集到的mac地址进行数据分析，获得附近的人流量、入店量、驻留时长等信息
> 本系统以Spark + Hadoop为核心，搭建了基于WIFI探针的大数据分析系统
- 项目演示
[演示视频](http://v.youku.com/v_show/id_XMjg1OTYxNzg1Ng==.html?spm=a2hzp.8244740.0.0)
## Module Introduction
### 系统配置说明
2019年10月3日更新
[WifiProbeAnalysis 系统安装配置说明](https://github.com/wanghan0501/WiFiProbeAnalysis/blob/master/WifiProbeAnalysis%20%E7%B3%BB%E7%BB%9F%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE%E8%AF%B4%E6%98%8E.md)
### [Computing-Core](https://github.com/wanghan0501/WiFiProbeAnalysis/tree/master/computing-core)
- 系统核心， 负责实时计算以及离线计算
- 主要技术或API：
名称 | 解释
----| ----|
Spark| 分析程序核心API
Hadoop | 分析程序核心API
Mybatis | 操作Mysql的API
SharedJedis | 分布式Redis的API
Log4j | 日志记录工具
Accumulator | 累加器，相当于Spark中的全局变量
FastJson | Json解析工具
HBase Client | 操作HBase
### [Kafka-Core](https://github.com/wanghan0501/WiFiProbeAnalysis/tree/master/kafka-core)
- 利用Kafka或HDFS缓存数据， 供实时分析程序提取
- 将原始数据存储进HBase，供离线分析程序使
> 主要技术或API：
名称 | 解释 |
------|--------|
Kafka |基于内存的消息队列，负责缓冲数据，供实时分析程序提取
HDFS | Hadoop分布式文件系统，具有高容错性、高吞吐性等特点
HBase | 建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统
### [Web-UI](https://github.com/wanghan0501/WiFiProbeAnalysis/tree/master/web-ui)
- 数据解析和展示
> 主要技术或API：
名称 | 解释 |
-----|-----|
React| 前端框架
Redux| 负责管理与后端的数据交互
webSocket | 实时数据获取，避免了前端轮询，节省大量网络资源
echarts | 绘图
Ant Design | UI框架
### [Web-Server](https://github.com/wanghan0501/WiFiProbeAnalysis/tree/master/web-server)
- 网站服务器端，负责处理前端请求
> 主要技术或API：
名称 | 解释 |
-----|-----|
SSM 架构| Spring MVC + Spring + Mybatis框架
Spring-Data-Redis | 封装对redis的操作
webSocket | 实时向前端推送数据，可以做到广播，即一次查询，向N个前端推送，节省大量资源
Alidayu | 阿里大鱼，发送短信(开源版本中已删除)
POI | 导出Excel报表
### [py-script](https://github.com/wanghan0501/WiFiProbeAnalysis/tree/master/py-script)
模拟发送探针数据的python脚本，使用多线程来模拟大量探针的发包
### Databases in System
- MySQL
> 关系型数据库，负责存储一些不会经常读取的数据,比如分析程序的参数配置、商场信息等
- HBase
> 分布式非关系型数据库，用于永久性存储原始数据，供离线分析程序使用
- Redis
> 非关系型数据库，适用于存储快速读写的数据，用于存储分析结果，存储格式为json
## About Us
以下是开发者的GitHub账户，欢迎follow
* [wanghan0501](https://github.com/wanghan0501)
* [Maicius](https://github.com/Maicius)
* [Times125](https://github.com/Times125)
如果有关项目的问题可以联系以下邮箱
[ [email protected]]([email protected])