一、业务场景

某大型电商网站收集有用户在2014年购物行为数据，包含了300000条数据记录。现希望大数据分析团队使用Spark技术对这些数据进行分析，以期获得有价值的信息。

二、数据集说明

本案例用到的数据集说明如下：
数据集文件：/data/dataset/batch/user_action.csv
该数据来源于某电商网站的用户在2014年购物行为数据，包含了300000条数据记录。

1.       字段                     定义
2.      uid                     (自增序列值)
3.      user_id                 (用户id)
4.      item_id                 (商品id)
5.      behaviour_type          (包括浏览、购买、退货)
6.      item_category           (商品分类)
7.      visit_data              (该记录产生时间)
8.      user_address            (用户所在地)
9.      browser                 (客户端所使用的浏览器)

三、操作步骤

阶段一、启动HDFS、Spark集群服务和zeppelin服务器

1、启动HDFS集群
在Linux终端窗口下，输入以下命令，启动HDFS集群：

1.   $ start-dfs.sh

2、启动Spark集群
在Linux终端窗口下，输入以下命令，启动Spark集群：

1.   $ cd /opt/spark
2.  $ ./sbin/start-all.sh

3、启动zeppelin服务器
在Linux终端窗口下，输入以下命令，启动zeppelin服务器：

1.   $ zeppelin-daemon.sh start

4、验证以上进程是否已启动
在Linux终端窗口下，输入以下命令，查看启动的服务进程：

1.   $ jps

如果显示以下6个进程，则说明各项服务启动正常，可以继续下一阶段。

1.   2288 NameNode
2.  2402 DataNode
3.  2603 SecondaryNameNode
4.  2769 Master
5.  2891 Worker
6.  2984 ZeppelinServer

阶段二、准备案例中用到的数据集

1、将本案例要用到的数据集上传到HDFS文件系统的/data/dataset/batch/目录下。在Linux终端窗口下，输入以下命令：

1.   $ hdfs dfs -mkdir -p /data/dataset/batch
2.  $ hdfs dfs -put /data/dataset/batch/user_action.csv /data/dataset/batch/

2、在Linux终端窗口下，输入以下命令，查看HDFS上是否已经上传了该数据集：

1.   $ hdfs dfs -ls /data/dataset/batch/

这时应该看到数据集文件user_action.csv已经上传到了HDFS的/data/dataset/batch/目录下。

阶段三、对数据集进行探索和分析

1、新建一个zeppelin notebook文件，并命名为rdd_project。
2、加载数据集到RDD。在notebook单元格中，输入以下代码，加载数据集到RDD:

1.   val filePath = "/data/dataset/batch/user_action.csv"   // 定义要加载数据集的hdfs路径
2.  val userActionRDD = sc.textFile(filePath)              // 读取数据集到rdd
3.      　
4.  userActionRDD.cache   // 缓存rdd

同时按下Shift+Enter，执行以上代码。

3、简单探索。

1.   userActionRDD.take(1)

同时按下Shift+Enter，执行以上代码，输出内容如下：
Array[String] = Array(1,10001082,285259775,浏览,4076,2014-11-11,福建,Safari)
由以上输出内容可知引数据集的数据格式。其中：
- 数组的第2个元素是用户id
- 数组的第3个元素是商品id
- 数组的第4个元素是用户行为（值包括”浏览”、”购买”、”退货”）
- 数组的第5个元素为该商品所属类别的id
- 数组的第6个元素为此用户行为发生的日期
- 数组的第7个元素为用户用户所在地
- 数组的第8个元素为用户所使用的浏览器类型。

4、转换为RDD[Array[String]]。在notebook单元格中，输入以下代码，对每行数据按逗号进行分割:

1.   val userRDD = userActionRDD.map(line => line.split(","))
2.  userRDD.take(2)
3.  userRDD.cache

5、查看前10位用户的行为(即behavior_type字段的值)。在notebook单元格中，输入以下代码:

1.   userRDD.map(_(3)).take(10).foreach(println)