https://github.com/oeljeklaus-you/forumloganaloyze
论坛日志分析系统
https://github.com/oeljeklaus-you/forumloganaloyze
java javaee javaweb spring-boot springmvc-mybatis
Last synced: 3 months ago
JSON representation
论坛日志分析系统
- Host: GitHub
- URL: https://github.com/oeljeklaus-you/forumloganaloyze
- Owner: oeljeklaus-you
- License: apache-2.0
- Created: 2018-05-22T13:33:44.000Z (about 7 years ago)
- Default Branch: master
- Last Pushed: 2018-05-22T14:09:55.000Z (about 7 years ago)
- Last Synced: 2025-03-21T08:51:19.169Z (3 months ago)
- Topics: java, javaee, javaweb, spring-boot, springmvc-mybatis
- Language: JavaScript
- Size: 1.12 MB
- Stars: 24
- Watchers: 1
- Forks: 15
- Open Issues: 1
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# 日志论坛分析系统
**统计计日志每天的PV、UV、IP以及人均访问次数，根据时间维度、**
**地域维度和操作系统的维度以及浏览器的维度来可视化的
显示每一天的PV、UV、IP以及根据小时为维度显示PV**
**如果缺少网站日志数据，请移步到https://github.com/oeljeklaus-you/LogAnalyzeHelper**
# 几个基本概念
**PV(访问量)： 即Page View,即页面浏览量或点击量，用户每次刷新即被计算一次。**
**UV(独立访客)：即Unique Visitor,访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。**
**IP、PV、UV的区别：**
**IP(独立IP)：某IP地址的计算机访问网站的次数。这种统计方式很容易实现，具有真实性。所以是衡量网站流量的重要指标。**
**PV(访问量)：PV反映的是浏览某网站的页面数，所以每刷新一次也算一次。就是说PV与来访者的数量成正比，但PV并不是页面的来访者数量，而是网站被访问的页面数量。**
**UV(独立访客)：可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的。**
**IP(独立IP)反映的是网络地址对象的数量，UV(独立访客)反映的是实际使用者的数量，每个UV相对于每个ip更准确地对应一个实际的浏览者。**
# 页面显示
## 根据小时统计PV
## 访客操作系统统计
## 访客浏览器占比
## 访客地域统计
# 开发步骤
**日志数据规则(MapReduce)---->生成贴源表(Hive)---->建立维度表(Hive)---->数据抽离(Hive)---->导入Sqoop----->导出Mysql---->数据可视化(Spring+SpringMVC+MyBatis+Maven+Echarts)**
# 使用的技术
**Hadoop(MapReduce)
Hadoop(Hive)
Sqoop
Spring
SpringMVC
MyBatis
Maven**
# 数据清洗
**关于网站日志数据和数据清洗详情,请移步到https://github.com/oeljeklaus-you/LogAnalyzeHelper**