https://github.com/jasonTangxd/recommendSys
推荐项目（实时推荐和离线推荐）
https://github.com/jasonTangxd/recommendSys
hadoop kafka mahot storm toos
Last synced: about 1 month ago
JSON representation
推荐项目（实时推荐和离线推荐）
- Host: GitHub
- URL: https://github.com/jasonTangxd/recommendSys
- Owner: jasonTangxd
- Created: 2016-06-27T16:10:03.000Z (almost 9 years ago)
- Default Branch: master
- Last Pushed: 2017-10-24T12:09:29.000Z (over 7 years ago)
- Last Synced: 2024-11-11T10:45:13.645Z (7 months ago)
- Topics: hadoop, kafka, mahot, storm, toos
- Language: Java
- Size: 2.05 MB
- Stars: 248
- Watchers: 21
- Forks: 115
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# recommendSys
- 推荐系统
- 离线计算和实时计算
本项目主要分为WEB(产生数据)、离线和实时三大模块
## WEB(产生数据即用户的行为数据）
1. 用户对物品的操作（查看,浏览，购买）ugcLOG
2. 通过flume采集ugcLOG日志到HDFS
## 离线处理（hadoop+mahout）基于用户和物品的协同过滤
1. 通过定时（oozie、crontab）任务(mr)，处理HDFS上面的ugcLOG
2. 清理后的数据(用户id,itemID,评分)，给mahout
3. mahout清理之后就是每个用户对应的item物品列表
4. 清洗后的结果数据，然后通过sqoop导入到数据库mysql中或者放入到hive中（web展现或者交给数据分析人员）
1. 当天的数据：当日凌晨截至到统计时间点的数据
2. 之前的历史数据：截至到今天凌晨的历史数据
## 实时处理（kafka+stome）基于用户和物品标签
1. 收集：收集用户的特征向量（用户和标签的矩阵），（userID tag1 tag2）
2. 收集：收集物品的特征向量（物品和标签的矩阵），（itemID tag1 tag2 tag5）
3. 计算：然后通过1，2计算出用户和物品的特征值（矩阵乘积）
4. 过滤：通过userID item列表过滤掉已经产生行为的物品/通过运营决策过滤/用户自定义过滤
5. 排序：topN(包括自定义权重，比如想在周末推销某个产品等)
1. 通过web收集特征行为数据（用户标签，评论数据）
2. 把收集的数据实时传入kafka
3. 特征行为数据和用户属性特征数据（数据库）共同组装成用户特征向量
4. 用户特征向量和物品的特征矩阵（用户和系统打的标签，权重等）计算出矩阵乘积
5. 过滤，计算topN
# 博客地址
[小小默：http://blog.xiaoxiaomo.com](http://blog.xiaoxiaomo.com)