环境说明

spark.version=2.4.4

scala.version=2.11.12

文件示例

{"name": "Michael",  "age": 12}{"name": "Andy",  "age": 13}{"name": "Justin",  "age": 8, "friend_cnt": 2,"friends": [{"name": "Jobs"}, {"name": "Jacky"}]}

应用代码

object App {  def main(args: Array[String]): Unit = {    import org.apache.spark.sql.SparkSession    import org.apache.spark.storage.StorageLevel    import org.apache.spark.HashPartitioner    import org.apache.spark.Partitioner    val spark = SparkSession.builder().appName("App").master("local[4]").getOrCreate()    spark.sparkContext.setLogLevel("ERROR")    val jsonData = spark.read.json(      "C:bdsparkest3datainputjson"    )        jsonData.createOrReplaceTempView("tmp_view")    jsonData.printSchema()    spark.sql(      "select name,friends[0].name from tmp_view where friend_cnt>0"    ).collect().foreach(println)  }}

运行结果

root

|-- age: long (nullable = true)

|-- friend_cnt: long (nullable = true)

|-- friends: array (nullable = true)

| |-- element: struct (containsNull = true)

| | |-- name: string (nullable = true)

|-- name: string (nullable = true)

[Justin,Jobs]

补充说明

jsonData是一个DataFrame(org.apache.spark.sql.DataFrame)，简称df

printSchema()可以输出该df的结构信息

可以通过createOrReplaceTempView将df注册为一个临时表，通过用 [element] 指定下标来访问array中的元素，通过.访问struct中的嵌套元素，如friends[0].name

rapidjson读取json文件_SPARK入门 - json文件读取相关推荐

c++读取json文件_SPARK入门 - json文件读取
环境说明 spark.version=2.4.4 scala.version=2.11.12 文件示例 {"name": "Michael", "ag ...
spark sql合并小文件_Spark SQL小文件问题在OPPO的解决方案
Spark SQL小文件是指文件大小显著小于hdfs block块大小的的文件.过于繁多的小文件会给HDFS带来很严重的性能瓶颈,对任务的稳定和集群的维护会带来极大的挑战. 一般来说,通过Hive调度 ...
python文件操作入门
文件操作入门单个文件读写: 下面这首诗存在一个txt文件里,文件路径为: "D:\文件集散地\白雪歌送武判官归京.txt" .请将这首诗的前5句存到另一个txt文件里. 北风卷地 ...
Json Schema快速入门
Json Schema快速入门 JSON 模式是一种基于 JSON 格式定义 JSON 数据结构的规范.它被写在 IETF 草案下并于 2011 年到期.JSON 模式: 描述现有数据格式. 干净的人 ...
kotlin 读取json文件_Kotlin入门(31)JSON字符串的解析
json是App进行网络通信最常见的数据交互格式,Android也自带了json格式的处理工具包org.json,该工具包主要提供了JSONObject(json对象)与JSONArray(json数 ...
Rapidjson的简单使用（拼接json串，存取文件中的json，解析json串）
Rapidjson的简单使用示例很早就想用用Markdown了,一直没机会.今天就来试一下先放个目录: Rapidjson的简单使用示例 rapidjson官方教程本示例所用环境示例代码与注释 ...
安卓加载asset中的json文件_Android中读取asset路径下本地json文件
最近自己写个小demo,用到了assets文件里面的内容.猛的没想起来怎么使用.就记录下来移动端开发中,和后台的交互方式不外乎json和xml,由于json的轻量级以及易用性,所以现在的交互协议基本 ...
java读取json配置文件_解决：java 读取 resources 下面的 json 文件
前言:java 读取工程下的配置文件,文件类型为 json(*.json),记录一下始终读取不到 json 文件的坑.maven项目直接上工具类代码 package com.yule.compon ...
python3读写excel文件_python3 循环读取excel文件并写入json操作
文件内容: excel内容: 代码: import xlrd import json import operator def read_xlsx(filename): # 打开excel文件 data ...

rapidjson读取json文件_SPARK入门 - json文件读取