spark mllib推荐算法使用

2019独角兽企业重金招聘Python工程师标准>>>

一、pom.xml

<!-- 机器学习包 --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-mllib_2.10</artifactId><version>${spark.version}</version></dependency>

二、api使用

package cn.hhb.spark.mllibimport org.apache.spark.SparkConf
/***向用户推荐商品*/
import org.apache.spark.mllib.recommendation.{ALS, Rating}
import org.apache.spark.{SparkConf, SparkContext}
// $example off$object RecommendationExample2 {def main(args: Array[String]) {var conf = new SparkConf().setAppName("RecommendationExample2").setMaster("local[4]").set("spark.testing.memory", "2147480000")val sc = new SparkContext(conf)val data = sc.textFile("c://test.data")//变换成rationg(评分)对象val ratings = data.map(_.split(',') match { case Array(user, item, rate) =>Rating(user.toInt, item.toInt, rate.toDouble)})//发生购买行为(评分)数据val realData = ratings.map( t=>(t.user,t.product) )// Build the recommendation model using ALSval rank = 10val numIterations = 10//模型,举证分解模型val model = ALS.train(ratings, rank, numIterations, 0.01)val usersProducts = sc.makeRDD(Array((1,1), (2,1)))//笛卡尔积
//    val allUsers = sc.makeRDD(Array(1,2,3,4))
//    val allProduct = sc.makeRDD(Array(1,2,3,4))
//    val userProducts = allUsers.cartesian(allProduct)
//    val unbuy = userProducts.subtract(realData)
//    unbuy.collect().foreach(println)//预测评分.
//    val predictions = model.predict(unbuy)val predictions = model.predict(usersProducts)predictions.collect().foreach(println)}}

转载于:https://my.oschina.net/hehongbo/blog/1545039

spark mllib推荐算法使用相关推荐

大数据Spark MLlib推荐算法
目录 1 相似度算法 1.1 欧几里德距离算法 1.2 基于夹角余弦相似度算法 2 最近邻域 3 交替最小二乘法 3.1 最小二乘法 3.2 交替最小二乘法 3.3 ALS算法流程 3.4 ALS算法 ...
Spark MLlib回归算法------线性回归、逻辑回归、SVM和ALS
Spark MLlib回归算法------线性回归.逻辑回归.SVM和ALS 1.线性回归: (1)模型的建立: 回归正则化方法(Lasso,Ridge和ElasticNet)在高维和数据集变量之间多 ...
Spark MLlib机器学习 | 算法综合实战(一)(史上最详细)
========== ========= 8.1.1 什么是机器学习机器学习可以看做是一门人工智能的科学,该领域的主要研究对象是人工智能.机器学习利用 ...
spark als推荐算法笔记
转自: https://www.cnblogs.com/mstk/p/7208674.html --上面的测试集实际用的训练集参考: https://blog.csdn.net/delltower/ ...
Spark MLlib FPGrowth算法
1.1 FPGrowth算法 1.1.1 基本概念关联规则挖掘的一个典型例子是购物篮分析.关联规则研究有助于发现交易数据库中不同商品(项)之间的联系,找出顾客购买行为模式,如购买了某一商品对购买其他 ...
开源精选 - Spark个性化推荐算法
源码:https://github.com/wolf-song-ml/RecommendationSystem 实战篇 1 项目技术架构 2 项目涉及关键技术 Redis:存储用户最近评测队列 Mon ...
基于Spark实现推荐算法-1:推荐算法简介
个性化推荐系统简介个性化推荐系统的定义在 1997 年由 Resnick 和 Varian 提出:利用互联网向用户提供信息和建议,帮助用户选择产品,或模拟售货员帮助用户完成购买行为的系统 .通常推 ...
从Spark MLlib到美图机器学习框架实践
MLlib 是 Apache Spark 的可扩展机器学习库,旨在简化机器学习的工程实践工作,并方便扩展到更大规模的数据集. 机器学习简介在深入介绍 Spark MLlib 之前先了解机器学习,根据 ...
mllib调参 spark_从Spark MLlib到美图机器学习框架实践
MLlib 是 Apache Spark 的可扩展机器学习库,旨在简化机器学习的工程实践工作,并方便扩展到更大规模的数据集. 机器学习简介在深入介绍 Spark MLlib 之前先了解机器学习,根据 ...

spark mllib推荐算法使用

spark mllib推荐算法使用相关推荐

最新文章

热门文章