pyspark dataframe基本用法

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Fri Mar  8 19:10:57 2019@author: lg
"""from pyspark.sql import SparkSessionupper='/opt/spark/spark-2.4.0-bin-hadoop2.7/'
spark = SparkSession \.builder \.appName("Python Spark SQL basic example") \.config("spark.some.config.option", "some-value") \.getOrCreate()
# spark is an existing SparkSession
df = spark.read.json(upper+"examples/src/main/resources/people.json")
# Displays the content of the DataFrame to stdout
df.show()df.printSchema()df.select("name").show()df.select(df['name'], df['age'] + 1).show()
df.filter(df['age'] > 21).show()df.groupBy("age").count().show()# Register the DataFrame as a SQL temporary view
df.createOrReplaceTempView("people")sqlDF = spark.sql("SELECT * FROM people")
sqlDF.show()# Register the DataFrame as a global temporary view
df.createGlobalTempView("people")# Global temporary view is tied to a system preserved database `global_temp`
spark.sql("SELECT * FROM global_temp.people").show()# Global temporary view is cross-session
spark.newSession().sql("SELECT * FROM global_temp.people").show()
# +----+-------+
# | age|   name|
# +----+-------+
# |null|Michael|
# |  30|   Andy|
# |  19| Justin|
# +----+-------+spark.stop()

posted on 2019-03-08 19:24 luoganttcc 阅读(...) 评论(...) 编辑收藏

pyspark dataframe基本用法相关推荐

Pyspark:DataFrame的转化操作及行动操作
Spark版本:V3.2.1 持续补充序言 Spark DataFrame中的创建及常用的列操作可以参考博客:https://blog.csdn.net/yeshang_lady/article ...
pyspark dataframe数据连接（join）、转化为pandas dataframe、基于多个字段删除冗余数据
pyspark dataframe数据连接(join).转化为pandas dataframe.基于多个字段删除冗余数据目录 pyspark dataframe数据连接(join).转化为panda ...
pyspark.sql写入mysql_将pyspark dataframe写入MySQL数据库时出错
我得到以下错误: "Caused by: java.lang.NoSuchMethodException: org.apache.spark.sql.execution.datasource ...
pySpark | pySpark.Dataframe使用的坑与经历
笔者最近在尝试使用PySpark,发现pyspark.dataframe跟pandas很像,但是数据操作的功能并不强大.由于,pyspark环境非自建,别家工程师也不让改,导致本来想pyspark环境 ...
PySpark︱DataFrame操作指南：增/删/改/查/合并/统计与数据处理
笔者最近需要使用pyspark进行数据整理,于是乎给自己整理一份使用指南.pyspark.dataframe跟pandas的差别还是挺大的. 文章目录 1.-------- 查 -------- -- ...
pyspark dataframe生成一列常量数组
pyspark dataframe生成一列常量数组 >>> from pyspark.sql.types import * >>> from pyspark.sql ...
python的drop duplicates_pandas.DataFrame.drop_duplicates 用法介绍
如下所示: DataFrame.drop_duplicates(subset=None, keep='first', inplace=False) subset考虑重复发生在哪一列,默认考虑所有列,就 ...
PySpark:DataFrame及其常用列操作
Spark版本:V3.2.1 1. DataFrame 虽然RDD是Spark最基本的抽象,但RDD的计算函数对Spark而言是不透明的.也就是说Spark并不知道你要在计算函数里干什么.无论你是要做 ...
pyspark DataFrame 转RDD
# -*- coding: utf-8 -*- from __future__ import print_function from pyspark.sql import SparkSession f ...

pyspark dataframe基本用法

pyspark dataframe基本用法

pyspark dataframe基本用法相关推荐

最新文章

热门文章