https://github.com/ningning0111/jd-comments-analyse

合工大 大数据课程 基于Hadoop+Spring的京东商品评论词频统计系统
https://github.com/ningning0111/jd-comments-analyse

hadoop hdfs-client spring

Last synced: 2 months ago
JSON representation

合工大 大数据课程 基于Hadoop+Spring的京东商品评论词频统计系统

• Host: GitHub
• URL: https://github.com/ningning0111/jd-comments-analyse
• Owner: NingNing0111
• Created: 2024-05-28T01:16:29.000Z (about 2 years ago)
• Default Branch: master
• Last Pushed: 2024-07-06T06:11:09.000Z (almost 2 years ago)
• Last Synced: 2024-07-06T07:26:59.867Z (almost 2 years ago)
• Topics: hadoop, hdfs-client, spring
• Language: Java
• Homepage:
• Size: 13.5 MB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# 说明

 合肥工业大学软件工程专业《云计算、大数据技术与应用》课程综合设计报告。

 基于Hadoop+Spring的京东商品评论词频统计系统。

 爬取京东或淘宝某一商品的评论1000条，统计词频（使用MapReduce或HBase或Hive），并以词云的方式可视化呈现，

## 启动

 配置`application.yml`文件并运行Spring应用；

 信息交换采用Websocket协议，链接`ws://localhost:8211/ws/{唯一通信id}`发送以下命令即可执行：

- `run crawler [productionId]`: 爬取指定productionId商品的所有评论；

![img.png](images/run-crawler.png)

- `run analyzer`: 启动hadoop对爬取的评论结果进行统计和分析

![img.png](images/run-analyzer.png)

## 词云效果图

![](images/jd_comments_word_cloud.png)