1 背景

基于spark 开发程序

数据放在本地文件中，为text格式

本文语言案例为java

2 步骤

2.1 搭建工程

基于maven搭建spark工程_this is a book的博客-CSDN博客

2.2 代码示例

 SparkConf conf = new SparkConf().setAppName("demo").setMaster("local[*]");SparkSession sparkSession = SparkSession.builder().config(conf).getOrCreate();JavaSparkContext javaSparkContext = new JavaSparkContext(sparkSession.sparkContext());JavaRDD<String> rdd = javaSparkContext.textFile(INPUT_PATH); rdd.foreach(new VoidFunction<String>() {@Overridepublic void call(String s) throws Exception {System.out.println(s);}});

3 注意事项

如果是放在linux 服务器上，并且跑在spark 上，文件路径需要加这个前缀

file:///data/demo.text

原因是spark一般和hdms组合使用，读取本地文件需要加前缀表明读取的是本地文件

spark 读取本地文件相关推荐

Spark读取本地文件和HDFS文件
前言旁边的实习生又一脸懵逼了:Spark有bug,明明我本地/data目录下有test.txt文件,但运行就报错: Caused by: java.io.FileNotFoundException: ...
关于在Spark集群中读取本地文件抛出找不到文件异常的问题
关于在Spark集群中读取本地文件抛出找不到文件异常的问题一般情况下,我们在本地ide里写好程序,打成jar包上传到集群取运行,有时候需要读取数据文件,这个时候需要注意,如果程序中读取的是本地文件, ...
java读取本地文件_java 读取本地文件实例详解
java 读取本地文件实例详解用javax.xml.w3c解析实例代码: package cn.com.xinli.monitor.utils; import org.w3c.dom.Docume ...
python读取本地文件-python解析本地HTML文件
Python使用爬虫技术时,每运行一次,本地都会访问一次主机.为避免完成程序前调试时多次访问主机增加主机负荷,我们可以在编写程序前将网页源代码存在本地,调试时访问本地文件即可.现在我来分享一下爬取资料 ...
QListWidget读取本地文件夹中文件并显示名字，双击读取xml数据
文章目录前言一.读取本地文件并显示二.双击读取数据前言本文主要是为了解决QListWidget读取本地文件夹中文件,并且显示的问题.然后双击读取其中xml数据一.读取本地文件并显示如下的 ...
用Groovy读取本地文件的代码
下面这些包默认已经被导入了,不需要使用import再次显式导入: java.io.* java.lang.* java.math.BigDecimal java.math.BigInteger jav ...
js读写php文件,在js中如何读取本地文件
下面我就为大家分享一篇js读取本地文件的实例,具有很好的参考价值,希望对大家有所帮助. 如何用在浏览器端预览本地文件? 今天的主题是使用浏览器预览本地文件. 由于浏览器安全策略的限制,javascri ...
java接收并存储文件_客户端读取本地文件的数据，发送到服务器，服务器接收并存储到文件中...
只实现了传送文件的功能. 编写Socket客户端和服务器程序,客户端读取本地文件的数据,发送到服务器,服务器接收并存储到文件中. 消息格式: 字段长度(单位字节) 内容 -------------- ...
java 读取本地文件_java 读取本地文件实例详解
java 读取本地文件实例详解用javax.xml.w3c解析实例代码: package cn.com.xinli.monitor.utils; import org.w3c.dom.Docume ...

spark 读取本地文件

1 背景

2 步骤

2.1 搭建工程

2.2 代码示例

3 注意事项

spark 读取本地文件相关推荐

最新文章

热门文章