Spark从HDFS上读取JSON数据

代码如下：

import org.apache.spark.sql.Row;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;public class QueryHDFSData {static SparkConf sparkConf = new SparkConf().setAppName("HDFSQuery").setMaster("local[2]");static JavaSparkContext sc = new JavaSparkContext(sparkConf);static SQLContext sqlContext = new SQLContext(sc);public static void main(String[] args){
//        JavaRDD<String> poi = sc.textFile("hdfs://node2:9000/user/flume/events/2015-11-27-21/events-.1448629506841");DataFrame df = sqlContext.read().json("hdfs://node2:9000/user/flume/events/2015-11-26-21/events-.1448543965316");// 打印模式
        df.printSchema();// 将数据框架注册成一个表df.registerTempTable("poi");// 使用sql语句从表中读取数据DataFrame poi = sqlContext.sql("SELECT * FROM poi WHERE cid=57425749418");JavaRDD<Row> row = poi.javaRDD();row.foreach(new VoidFunction<Row>(){@Overridepublic void call(Row r) throws Exception {System.out.println(r.mkString());        }});}
}

转载于:https://www.cnblogs.com/gaopeng527/p/5003259.html

Spark从HDFS上读取JSON数据相关推荐

java json utf-8_java读取json数据发生中文乱码的解决方法
java读取json数据发生中文乱码的解决方法发布时间:2020-06-21 15:58:48 来源:亿速云阅读:268 作者:鸽子 java读取json数据出现乱码的代码://从json文件中读 ...
java json 中文_java读取json数据中文乱码解决
java读取json数据出现乱码的代码:(推荐:java视频教程)//从json文件中读取数据 StringBuffer stringBuffer = new StringBuffer(); try ...
android 读取json数据（遍历JSONObject和JSONArray）
android 读取json数据(遍历JSONObject和JSONArray) public String getJson(){ String jsonString = "{\" ...
当向后台插入或读取JSON数据遇见回车时
今天在项目中发现.当插入或读取JSON数据时遇见回车符.返回JSON数据格式时会报错(firebug里体现为乱码),百度了一下发现JSON不支持字符串里存在回车! 解决的方法: 在向接口插入带json ...
powershell 遍历json_如何从Powershell脚本读取JSON数据并遍历它
我开始学习Powershell,我正在尝试读取JSON文件.如何从Powershell脚本读取JSON数据并遍历它这里是我的JSON文件(名为"versions.json"): ...
FullCalendar 三：FullCalendar应用——读取JSON数据
开发者可以使用FullCalendar创建强大的日历日程应用,FullCalendar提供了丰富的选项设置和方法调用,使得开发者可以轻松的创建各种功能的日历程序.本文将结合实例使用PHP读取MySQl ...
[js] localStorage 如何存储JSON数据并读取JSON数据
localStorage是HTML5提供的再客户端实现本地存储的一种方法,但是localStorage方法只能存储字符串数据,有时候我们需要存储对象到本地比如:JSON:那么,localStorage ...
html表单发送json,在HTML表单上发送JSON数据提交
我有一个html表单,该表单有两个字段(名称,说明).当用户点击该表单的提交按钮时,我想以json格式提交表单数据.在HTML表单上发送JSON数据提交我试过如下: function submitD ...
spark中读取json_【spark】文件读写和JSON数据解析
1.读文件通过 sc.textFile("file://")方法来读取文件到rdd中. val lines = sc.textFile("file://")/ ...

Spark从HDFS上读取JSON数据

代码如下：

Spark从HDFS上读取JSON数据相关推荐

最新文章

热门文章