https://github.com/coderayzhang/mapreduce_itemcf

基于MapReduce实现物品协同过滤算法（ItemCF）
https://github.com/coderayzhang/mapreduce_itemcf

Last synced: 5 months ago
JSON representation

基于MapReduce实现物品协同过滤算法（ItemCF）

• Host: GitHub
• URL: https://github.com/coderayzhang/mapreduce_itemcf
• Owner: CodeRayZhang
• Created: 2018-05-17T09:41:33.000Z (over 7 years ago)
• Default Branch: master
• Last Pushed: 2018-05-17T10:53:43.000Z (over 7 years ago)
• Last Synced: 2025-08-28T04:53:15.285Z (5 months ago)
• Language: Java
• Size: 80.1 KB
• Stars: 15
• Watchers: 2
• Forks: 7
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# 基于MapReduce实现物品协同过滤算法（ItemCF）

## 具体参考[博客](https://blog.csdn.net/u011254180/article/details/80353543)

#### 补充：hadoop三种执行方式

MR执行环境有两种：本地测试环境，服务器环境

	

本地测试环境(windows)：

	在windows的hadoop目录bin目录有一个winutils.exe

  

	1、在windows下配置hadoop的环境变量

	2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin

	3、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib

	4、MR调用的代码需要改变：

		a、src不能有服务器的hadoop配置文件

		b、在调用是使用：

		  Configuration config = new  Configuration();

		  config.set("fs.defaultFS", "hdfs://node7:8020");

		  config.set("yarn.resourcemanager.hostname", "node7");

服务器环境：

首先需要在src下放置服务器上的hadoop配置文件

1、在本地直接调用，执行过程在服务器上（真正企业运行环境）

	a、把MR程序打包（jar），直接放到本地

	b、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib

	c、增加一个属性：config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");

	d、本地执行main方法，servlet调用MR。

	

	

2、直接在服务器上，使用命令的方式调用，执行过程也在服务器上

	a、把MR程序打包（jar），传送到服务器上

	b、通过： hadoop jar jar路径  类的全限定名

	       如：hadoop jar wc.jar com.zxl.mr.wc.RunJob

注：一些jar包可以通过 java jar xxx.jar 运行,使用hadoop则默认会把hadoop所依赖包添加