Spark之购物篮分析

关于购物篮分析，具体的思路可以看
Mapreduce之购物篮分析
以下是编写号的Spark程序

package MBAimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.mutable.ListBufferobject MBA {def main(args: Array[String]): Unit ={val sparkConf=new SparkConf().setAppName("MBA").setMaster("local")val sc=new SparkContext(sparkConf)val input="input/mba.txt"val output="output"val transactions=sc.textFile(input)//生成频繁模式val patterns=transactions.flatMap(line=>{val items=line.split(",").toList(0 to items.size) flatMap items.combinations filter (xs=> !xs.isEmpty)}).map((_,1))//归约频繁模式val combined=patterns.reduceByKey(_+_)//生成所有子模式val subpatterns=combined.flatMap(pattern=>{val result=ListBuffer.empty[Tuple2[List[String],Tuple2[List[String],Int]]]result+=((pattern._1,(Nil,pattern._2)))val sublist=for{i<- 0 until pattern._1.sizexs=pattern._1.take(i) ++ pattern._1.drop(i+1)if xs.size>0}yield(xs,(pattern._1,pattern._2))result++=sublistresult.toList})//按键对子模式分组val rules=subpatterns.groupByKey()//生成关联规则val assocRules=rules.map(in=>{val fromCount=in._2.find(p=>p._1==Nil).getval toList=in._2.filter(p=>p._1!=Nil).toListprintln("fromCount is "+fromCount._2.toDouble+" toList is "+toList.size)if(toList.isEmpty) Nilelse{val result=for{t2<- toListconfidence=t2._2.toDouble/fromCount._2.toDoubledifference=t2._1 diff in._1}yield(((in._1,difference,confidence)))result}})val formatResult=assocRules.flatMap(f=>{f.map(s => (s._1.mkString("[", ",", "]"), s._2.mkString("[", ",", "]"), s._3.formatted("%.3f")))})formatResult.saveAsTextFile(output)sc.stop()}
}

Spark之购物篮分析相关推荐

关联规则概念、啤酒加尿布引出购物篮分析、频繁项集、支持度+置信度+提升度
关联规则概念.啤酒加尿布引出购物篮分析.频繁项集.支持度+置信度+提升度目录
tableau实战系列（二十八）-以可视化的方式打开关联分析算法购物篮分析（Market Basket Analysis）
关于购物篮分析购物篮分析 Market Basket Analysis 是销售数据研究顾客的购买行为.零售.电信.金融服务.保险.医疗等多行业,可通过了解顾客的购买习惯和规则,挖掘商业利益并建立竞争 ...
tableau linux无网络安装_举个栗子！Tableau 技巧（127）：购物篮分析之关联购买
购物篮分析(Market Basket Analysis)是通过顾客的购物篮信息研究其购买行为.主要目的在于找出什么样的东西应该放在一起.通过分析顾客的购买行为来探知顾客的属性及购买某些商品的可能原因 ...
数据挖掘算法之-关联规则挖掘(Association Rule)（购物篮分析）
在各种数据挖掘算法中,关联规则挖掘算是比较重要的一种,尤其是受购物篮分析的影响,关联规则被应用到很多实际业务中,本文对关联规则挖掘做一个小的总结. 首先,和聚类算法一样,关联规则挖掘属于无监督学习方法 ...
108_Power Pivot购物篮分析分组GENERATE之笛卡尔积、排列、组合
博客:www.jiaopengzi.com 焦棚子的文章目录请点击下载附件 1.背景昨天在看论坛帖子时候(帖子),看到一个关于SKU组合的问题,有很多M大佬都给出了处理方案,于是想用dax也写一个 ...
3个表的连接需要个关联条件。_购物篮分析(关联商品销售分析)
购物篮分析在销售中对组合商品的位置摆放和捆绑售卖有很大的影响作用,正确有效的购物篮商品组合对提高销售额也有明显的效果. 先说明购物篮分析需要用到的表有哪些? 销售表(销售事实表).商品表(各商品的信息 ...
python 关联分析算法的包_Python 极简关联分析（购物篮分析）
关联分析,也称购物篮分析,本文目的: 基于订单表,用最少的python代码完成数据整合及关联分析文中所用数据下载地址: 使用Python Anaconda集成数据分析环境,下载mlxtend机器学习 ...
《推荐系统笔记（十三）》购物篮分析 —— 基于关联规则的topN推荐
购物篮分析最初出现于大型零售商,他们通过分析大量的发票数据,分析出购买特定商品的消费者更可能还购买哪种商品. Transactions数据集每一个这样的数据,其实就是一个消费者一次购买的商品清单,我 ...
基于mapreduce的购物篮分析算法实现
http://www.calstatela.edu/centers/hipic/contents/research/cloudComputing/2011/marketPDPTA11.pdf http ...

Spark之购物篮分析

Spark之购物篮分析

Spark之购物篮分析相关推荐

最新文章

热门文章