java spark的使用和配置

前言

spark在java使用比较少，多是scala的用法，我这里介绍一下我在项目中使用的代码配置
详细算法的使用请点击我主页列表查看

版本

jar	版本	说明
spark	3.0.1
scala	2.12	这个版本注意和spark版本对应，只是为了引jar包
springboot版本	2.3.2.RELEASE

maven

<!-- spark --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>${spark.version}</version><exclusions><exclusion><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId></exclusion><exclusion><groupId>log4j</groupId><artifactId>log4j</artifactId></exclusion></exclusions></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-mllib_2.12</artifactId><version>${spark.version}</version></dependency><dependency><groupId>org.codehaus.janino</groupId><artifactId>janino</artifactId><version>${janino.version}</version></dependency>

yml

spark:name: spark-web# 我使用的local模式master: local[*]#用于存储mpp输出文件和RDD缓存文件，常配置在SSD等存储设备上，可以通过逗号分隔指定多个目录。local-dir: D://spark-tmp# 内存memory: 2147480000

config

import lombok.Getter;
import lombok.Setter;
import lombok.ToString;
import org.apache.spark.SparkContext;
import org.apache.spark.sql.SparkSession;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;/*** spark配置项** @author teler*/
@ToString
@Getter
@Setter
@Configuration
@ConfigurationProperties(prefix = "spark")
public class SparkConfig {private String name;private String master;private String localDir;private String memory;@Beanpublic SparkSession sparkSession() {return SparkSession.builder().appName(name).master(master).config("spark.testing.memory", memory).config("spark.local.dir", localDir).getOrCreate();}
}

java spark的使用和配置相关推荐

spark启动历史服务配置时报错java.net.ConnectException: Connection refused； For more details see: http://wiki.ap
spark启动历史服务配置时,没报错,然后在运行spark任务时报错: Call From master/ip to master:8020 failed on connection exceptio ...
Spark性能相关参数配置详解
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化. 由于篇 ...
教程-Spark安装与环境配置
总第130篇/张俊红 1.Spark介绍 Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型.那到底是什么,可能还不是太理解,通俗讲就是可以分布式处理大量极数据的,将 ...
[转]大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）
大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等) 系统说明 ...
Spark 性能相关参数配置详解－压缩与序列化篇
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 随着Spark的逐渐成熟完善, ...
scala linux 环境配置,LINUX系统下Java和Scala的环境配置
最近,笔者在研究一个有关"自然语言处理"的项目,在这个项目中,需要我们用Spark进行编程.而Spark内核是由Scala语言开发的,所以在使用Spark之前,我们必须配置好Sca ...
从零开始学 Java - Spring 集成 Memcached 缓存配置（二）
Memcached 客户端选择上一篇文章从零开始学 Java - Spring 集成 Memcached 缓存配置(一)中我们讲到这篇要谈客户端的选择,在 Java 中一般常用的有三个: Memc ...
win7 64位安装java jdk1.8 ，修改配置环境变量
下载jdk1.8,下载地址:http://www.wmzhe.com/soft-30118.html 安装时有两个程序,都安装在同一个目录下. win7 64位安装java jdk1.8 ,修改 ...
Java环境的安装与配置
Java环境的安装与配置环境:Java8,win10 推荐oracle官网oracle官网https://www.oracle.com/index.html下载JDK进行安装选择自己需要的版本下载 ...

java spark的使用和配置

前言

版本

maven

yml

config

java spark的使用和配置相关推荐

最新文章

热门文章