java spark 环境_在 IntelliJ IDEA 中配置 Spark(Java API) 运行环境

1. 新建Maven项目

初始Maven项目完成后，初始的配置(pom.xml)如下：

2. 配置Maven

向项目里新建Spark Core库

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

net.libaoquan

TestSpark

1.0-SNAPSHOT

org.apache.spark

spark-core_2.11

2.2.1

3.新建Java类

新建Java类，写入Spark(Java API)代码：

import org.apache.spark.api.java.*;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.function.Function;

public class TestSparkJava {

public static void main(String[] args) {

String logFile = "D:\\ab.txt";

SparkConf conf = new SparkConf().setMaster("local").setAppName("TestSpark");

JavaSparkContext sc = new JavaSparkContext(conf);

JavaRDD logData = sc.textFile(logFile).cache();

long numAs = logData.filter(new Function() {

public Boolean call(String s) { return s.contains("0"); }

}).count();

long numBs = logData.filter(new Function() {

public Boolean call(String s) { return s.contains("1"); }

}).count();

System.out.println("Lines with 0: " + numAs + ", lines with 1: " + numBs);

sc.stop();

}

运行项目，结果如下：

java spark 环境_在 IntelliJ IDEA 中配置 Spark(Java API) 运行环境相关推荐

maven 对于java的要求_如何在Maven中表达对Java EE功能的依赖以过渡到Java 9？
该模块系统讲的无名模块作为在从类路径加载应用的情况下构建模块图的方式.此外,从文档本身来看: 当编译器在未命名模块中编译代码,或者调用Java启动程序并将应用程序的主类从类路径加载到应用程序类加载器的 ...
vs2017运行环境_从零开始针对 .NET 应用的 DevOps 运营实践运行环境搭建
一.Overview 最近的一段时间,在公司里我都在进行基于 Jenkins 和 SonarQube 配合已有的 Gitlab 搭建部门的持续集成环境的工作,虽然之前有使用过 GitHub Actio ...
sublime怎么配置python环境_在Sublime Editor中配置Python环境的详细教程
导语在工作场景遇到了这么一个场景,就是需要定期去执行一个缓存接口,用于同步设备配置.首先想到的就是Linux上的crontab,可以定期,或者间隔一段时间去执行任务.但是如果你想要 2020-12-1 ...
java调用wadl_java-ee – 如何从IntelliJ IDEA中的RESTful Java代码生成WADL？
我在IntelliJ IDEA 12.1.3 Ultimate中有一个简单的RESTful服务. 我测试过了.有用.现在我想为这个服务创建一个Java客户端,需要一个WADL. 根据http://wi ...
eclipse配置python开发环境_如何在Eclipse中配置python开发环境
展开全部步骤1: 下载用于在2113Eclipse中开发Python的插件PyDev. 步骤2: 解压5261python.将解压后的features和plugins文件4102夹中的1653内容拷 ...
java httpclient 重定向_如何在HttpClient中自动重定向(java,apache)
我创建了httpClient并设置了设置 HttpClient client = new HttpClient(); client.getParams().setCookiePolicy(Cookie ...
java opencv 开发环境_在IntelliJ IDEA 13中配置OpenCV的Java开发环境
准备工作: 下载IDEA 13(这里以版本13为例,后面简称IDEA): 下载Java JDK(用于配置基本的Java开发环境): 下载OpenCV 2.4.9(这里以版本2.4.9为例,据这篇文章说 ...
idea java jni 调试_使用 IntelliJ IDEA 和 IntelliJ Clion 进行 JNI 开发
在 Android Studio 开发 JNI 的时候,总感觉被一些细枝末节所迷惑,比如 NDK,.so 文件,动态库,library ,javah 编译等等,感觉很困惑,所以这次打算撇开细枝末节,只 ...
IntelliJ IDEA中生成jar包并运行
1.IntelliJ IDEA中的java项目生成jar包 IntelliJ IDEA中的java项目(比如:myproject),可以生成jar包. 本文以IntelliJ IDEA 2022.3 ...

java spark 环境_在 IntelliJ IDEA 中配置 Spark(Java API) 运行环境

java spark 环境_在 IntelliJ IDEA 中配置 Spark(Java API) 运行环境相关推荐

最新文章

热门文章