Spark入门程序(idea,scala)

工具idea 语言scala

spark编程入门程序

package com.doit.core
import org.apache.log4j.{Level, Logger}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}/**    spark编程入门程序
*    1 获取spark编程的环境  SparkContext
*    2 需要传入一个配置对象  SparkConf   1) 运行Master 2) 程序名
*    3 读取本地文件
*    4 调用方法(算子) 处理数据   [数据:理解成迭代器]
*    5 输出结果  打印
*    6 释放资源 sc.stop
*/
object C01BaseDemo {//设置控制台打印日志的日志级别Logger.getLogger("org").setLevel(Level.ERROR)def main(args: Array[String]): Unit = {//1使用spark编程//首先 spark编程的入口 [环境]val conf = new SparkConf()//运行Master 设置程序名字/*** 程序运行必须设置运行模式*   conf.setMaster("local")  等同于  conf.set("spark.master", "")*  local       在本地使用一个核处理数据*  local[4]   在本地使用四个核处理数据*/conf.setMaster("local").setAppName("date")//2.获取spark编程环境 SparkContextval context = new SparkContext(conf)//3.读取本地文件//RDD 可以理解成为Iterator(迭代器)val data: RDD[String] = context.textFile("doit-spark/data/a.txt")//4.调用方法(算子) 处理数据 [数据:理解成为迭代器]val res: RDD[String] = data.map(e => e + "-hello")//5.输出结果 /存储到磁盘/HDFS/mysql/打印res.foreach(println)//6.回收环境context.stop()}}

注意:导包apache的包,内容解释都在注释里

Spark入门程序(idea,scala)相关推荐

spark需要maven管理吗_使用Eclipse编写Spark应用程序（Scala+Maven）
点击这里观看厦门大学林子雨老师主讲<大数据技术原理与应用>授课视频 [版权声明]博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载! [返回Spark教程首页] 对Scala代码进 ...
Apache Spark学习：利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可以阅读网络教程 A Scala Tutorial for Ja ...
Spark程序使用Scala进行单元测试
Spark程序使用Scala进行单元测试 1.Rdd测试 2.无返回值方法测试 3.测试私有方法原文作者:大葱拌豆腐原文地址:Spark程序进行单元测试-使用scala 1.Rdd测试 spark ...
大数据Spark入门案例5–统计广告点击数量排行Top3(scala版本)
大数据Spark入门案例5–统计每广告点击数量排行Top3(scala版本) 1 数据准备链接:https://pan.baidu.com/s/1afzmL-hNsAJl1_gx_dH2ag 提取码 ...
使用Scala语言编写Spark应用程序实现数据去重
使用Scala语言编写Spark应用程序实现数据去重一.题目需求二.建立目录结构 (一)创建 sparkapp4 文件夹并切换 (二)创建 data 文件夹(存放A.txt B.txt) (三)创 ...
Spark入门系列（二）| 1小时学会RDD编程
作者 | 梁云1991 转载自Python与算法之美(ID:Python_Ai_Road) 导读:本文为 Spark入门系列的第二篇文章,主要介绍 RDD 编程,实操性较强,感兴趣的同学可以动手实现一 ...
Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1.1 运行环境说明 1.1.1 硬软件环境 l 主机操作系统:Windows 64位, ...
Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1.编译Spark Spark可以通过SBT和Maven两种方式进行编译,再通过make-d ...
Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1.机器学习概念 1.1 机器学习的定义在维基百科上对机器学习提出以下几种定义: l&qu ...
Spark 入门系列-简介以及生态
精选30+云产品,助力企业轻松上云!>>> 写这篇文章的时候,自己也编写过一段时间的 Spark 流式程序了,但是感觉还是零零散散的,不够系统.这么优秀的一个框架,如果只了解其中一点 ...

Spark入门程序(idea,scala)

Spark入门程序(idea,scala)相关推荐

最新文章

热门文章