pyspark读取json文件中的内容

代码如下：

#-*- coding:utf- -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
from pyspark import SparkConf,SparkContext
from pyspark.sql import SQLContext
conf=SparkConf().setAppName("spark_json1")
sc=SparkContext(conf=conf)
sqlContext=SQLContext(sc)jsons=sqlContext.read.json("./testweet.json")
print"type of jsons",type(jsons)
print jsons.collect()#这个是把每个key-value对转化为列表中的一个元素后输出
print"-------------------------"
jsons.printSchema()
print"-------------------------"
pandas_df = jsons.toPandas()
print"type of pandas_df",type(pandas_df)#类型转化<class 'pyspark.sql.dataframe.DataFrame'> -> <class 'pandas.core.frame.DataFrame'>

{"lovesPandas":"lovesPandas","age":12}
{"lovesPandas":"lili","age":22}
{"lovesPandas":"cc","age":11}
{"lovesPandas":"vv","age":13}
{"lovesPandas":"lee","age":14}
{"lovesPandas":"yuchi","age":14}

pyspark读取json文件中的内容相关推荐

将数据写入json文件，并且读取json文件中的数据
目录一.将数据生成json文件二.读取json文件中的数据三.方法测试四.其他附件 1.User实体类 2.import 一.将数据生成json文件方法 /*** 生成.json格式文件*/ ...
R语言读取txt文件中的内容
在RGui中读取.txt文件中的内容,采用函数read.table("xxx.txt",head=TRUE|FALSE); 其中head=TRUE表示含有属性的标题,hea ...
java读取txt文件中的内容
java读取txt文档中的内容:在这个地方我们输入一个txt文件的路径,就可以读取出txt文档中的内容: public static String readStringFromtxt(String t ...
使用spring最简单地读取properties文件中的内容
相比传统的读取propertis文件内容,使用spring框架会更加简单快捷 1. 第一步,在spring的配置文件中,将propertis文件加载到spring容器 2. 加载了配置文件后,只需要在 ...
李炎恢 ComboGrid(数据表格下拉框)：读取Json文件中的数据
1.新建JsData文件夹中添加content.json文件.内容如下: [ { "id" : 1, "user" : "蜡笔小新" ...
批量更改json文件中指定内容
要求:将所有json文件 [{"version": "1.0", "image": {"folder": "/ ...
批量读取txt文件中的内容进入csv文件
假如我们某个文件夹下有批量txt文件,我们想把这些文件的内容读入csv文件中以便程序做下一步处理,此时我们就需要实现从txt–>csv的转换,网上很多例子,不过不怎么好使,于是自己基于pytho ...
使用jquery中的getJSON函数获取json文件中的内容并输出到页面上和使用 AJAX处理JSON文件
html代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UT ...
java 解析dat_JAVA中怎么读取DAT文件中的内容
匿名用户 1级 2016-12-23 回答 DAT估计是个二进制或者文本跟普通读取文件是一样的读取上来你再对文件格式进行拆分首先你要了解它的格式是什么你可以用 NOTEPAD++或者 ...

pyspark读取json文件中的内容

pyspark读取json文件中的内容相关推荐

最新文章

热门文章