0 相关源码

1 Spark环境安装

◆ Spark 由scala语言编写,提供多种语言接口,需要JVM

◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译

◆ Spark安装不难,配置需要注意,并且不一定需要Hadoop环境

下载
解压

tar zxvf spark-2.4.1-bin-hadoop2.7.tgz
复制代码

2 Spark配置

◆ 在配置前尽量先阅读官方文档,避免直接从网上找配置教程

◆ 要为节点设置好使用的内存,否则可能导致节点利用率低;

◆ 注意spark中IP与端口号的配置,以免UnknownHostException

官网配置

应用默认配置
配置文件
复制两份模板,开启自行配置

单机环境配置

本地IP

shell进行验证

bin/spark-shell
复制代码

3 Spark shell

◆ Spark shell是一个bash脚本,在./bin目录下

◆ Spark shell 为我们事先配置好了上下文(context) 和会话(session)

context实例
session实例
UI

4 实战Wordcount

4.1 Wordcount简介

◆ Wordcount 词频统计,是大数据分析中最为基础的一种任务英文分词较容易,直接分割空格即可。

◆ 实现思路首先将文件中所有的单词提取出来,然后合并相同单词

实现示意图

项目搭建

添加spark jar包
全选jar包,先左键选中第一个,再拉到最后shift,再左键最后一个实现全选.
新建类
测试文件

`pwd`/`ls |grep L`
复制代码

编写函数
运行成功
打包
移除这些多余的jar包
构建
将jar包放到spark/bin目录下使用 Spark-submit 运行

Spark机器学习实践系列

基于Spark的机器学习实践 (一) - 初识机器学习
基于Spark的机器学习实践 (二) - 初识MLlib
基于Spark的机器学习实践 (三) - 实战环境搭建

转载于:https://juejin.im/post/5cac4cb15188251b2f3a41af

基于Spark的机器学习实践 (三) - 实战环境搭建相关推荐

基于Spark的机器学习实践 (九) - 聚类算法
0 相关源码 1 k-平均算法(k-means clustering)概述 1.1 回顾无监督学习 ◆ 分类.回归都属于监督学习 ◆ 无监督学习是不需要用户去指定标签的 ◆ 而我们看到的分类.回归算法 ...
基于Spark的机器学习实践 (七) - 回归算法
0 相关源码 1 回归分析概述 1.1 回归分析介绍 ◆ 回归与分类类似,只不过回归的预测结果是连续的,而分类的预测结果是离散的 ◆ 如此,使得很多回归与分类的模型可以经过改动而通用 ◆ 因此对于回归 ...
(课程)基于Spark的机器学习经验
(课程)基于Spark的机器学习经验祝威廉 2016-09-07 16:48:36 浏览837 评论0 机器学习 spark 摘要: 这篇内容基于我去年的一些感悟写的,但是今年才在Stuq 的 ...
基于docker的 Hyperledger Fabric 多机环境搭建（上）
环境:ubuntu 16.04 Docker 17.04.0-ce go 1.7.4 consoul v0.8.0.4 ======================================= ...
Ubuntu下基于 Cilium CNI 的 Kubernetus集群环境搭建
Ubuntu下基于 Cilium CNI 的 Kubernetus集群环境搭建 1. 前言 2. 安装三个Ubuntu 2.1 三个机器都关闭防火墙 2.2 三个机器都关闭swap 2.3 三个机器都 ...
【Linux集群基础环境搭建】基于虚拟机的多节点Linux网络环境搭建（超详细）
基于VMWare虚拟机的多节点Linux网络环境搭建一.使用工具二.方案设计三.实现过程 1.安装VMWare虚拟机软件 2. 创建虚拟机节点controller并安装CentOS 3. 通过节 ...
#大数据技术#基于python的hadoop（单机）环境搭建及使用
基于python的hadoop(单机)环境搭建及使用 0.写在前面 1.虚拟机安装centos6.5 1.1安装流程 1.1.1系统安装 1.1.2修改静态ip(超级用户) 1.1.3更换可用源(超级 ...
基于Eclipse平台的Android OpenCV开发环境搭建
基于Eclipse平台的Android OpenCV开发环境搭建作者:雨水, 日期:2016-1-31,CSDN博客:http://blog.csdn.net/gobitan 摘要:本文主要记录了如 ...
Spark Standalone -- 独立集群模式、Spark 提交任务的两种模式、spark在yarn上运行的环境搭建、自己写的spark代码如何提交到yarn上并运行...
目录 Spark Standalone -- 独立集群模式 Standalone 架构图 Standalone 的搭建 1.上传.解压.重命名 2.配置环境变量 3.修改配置文件 conf 4.同步到 ...

基于Spark的机器学习实践 (三) - 实战环境搭建