Spark：获取dataframe某列最大值
// 查询 df 中 "game_size"字段的最大值，同理可以查询其他的统计信息
scala> df.agg(max("game_size")).show
+--------------+
|max(game_size)|
+--------------+
| 99|
>df1.show()
+-----+--------------------+--------+----------+-----------+
|floor| timestamp| uid| x| y|
+-----+--------------------+--------+----------+-----------+
| 1|2014-07-19T16:00:...|600dfbe2| 103.79211|71.50419418|
| 1|2014-07-19T16:00:...|5e7b40e1| 110.33613|100.6828393|
| 1|2014-07-19T16:00:...|285d22e4|110.066315|86.48873585|
| 1|2014-07-19T16:00:...|74d917a1| 103.78499|71.45633073|>row1 = df1.agg({"x": "max"}).collect()(0)
>print row1
Row(max(x)=110.33613)
>print row1["max(x)"]
110.33613
Spark：获取dataframe某列最大值相关推荐
- pandas获取dataframe数据列的数据类型、获取dataframe每类数据类型数据列的个数、使用select_dtypes函数、include参数以及exclude参数按照数据类型筛选数据
pandas获取dataframe数据列的数据类型.获取dataframe每类数据类型数据列的个数.使用select_dtypes函数.include参数以及exclude参数按照数据类型筛选数据 目 ...
- pandas使用idxmax函数获取dataframe每个数据行中最大值对应的列名称（column label of max value in each row in dataframe）
pandas使用idxmax函数获取dataframe每个数据行中最大值对应的列名称(column label of max value in each row in dataframe) 目录
- pandas使用idxmin函数获取dataframe每个数据行中最小值对应的列名称（column label of min value in each row in dataframe）
pandas使用idxmin函数获取dataframe每个数据行中最小值对应的列名称(column label of min value in each row in dataframe) 目录
- pandas获取dataframe中索引值最大值所在的数据行（get dataframe row of max index value）
pandas获取dataframe中索引值最大值所在的数据行(get dataframe row of max index value) 目录 pandas获取dataframe中索引值最大值所在的数 ...
- R语言dplyr包获取dataframe分组聚合的最大值实战（Maximum Value by Group）
R语言dplyr包获取dataframe分组聚合的最大值实战(Maximum Value by Group) 目录 R语言dplyr包获取dataframe分组聚合的最大值实战(Maximum Val ...
- R语言ncol函数获取dataframe或者matrix列的个数实战
R语言ncol函数获取dataframe或者matrix列的个数实战 目录 R语言ncol函数获取dataframe或者matrix列的个数实战 #基本语法
- 向Spark的DataFrame增加一列数据
前言 先说个题外话,如何给hive表增加一个列,并且该把该列的所有字段设为'China'? 如果仅仅是增加一列倒是很简单: alter table test add columns(flag stri ...
- Spark SQL DataFrame新增一列的四种方法
Spark SQL DataFrame新增一列的四种方法 方法一:利用createDataFrame方法,新增列的过程包含在构建rdd和schema中 方法二:利用withColumn方法,新增列的过 ...
- 如何为spark的dataframe添加常量列
有时候由于数据处理需要,我们会为dataframe添加一个常量列,本文介绍向dataframe添加常量列的方法. 使用typedLit函数 通过函数:org.apache.spark.sql.func ...
最新文章
- 机器学习_周志华_问题汇总_第2周
- 编码不规范，同事真的会两行泪？
- R语言ggplot2可视化：可视化水平堆叠条形图（horizontal stacked bar plot）并在条形图中的每个分组条形区域显示区域占整体的百分比数值标签
- （数据结构与算法）使用栈来实现综合计算器
- 过滤设置_深圳外置鱼池过滤器零售_杰蒙尼鱼池过滤器
- iUAP云运维平台v3.0全面支持基于K8s的微服务架构
- kindeditor用法简单介绍（转）
- MicroStation V8i简体中文版中文字体乱码解决办法
- 江苏计算机一级怎么自学,江苏计算机一级自学教程推荐：计算机基础及MS Office应用上机指导(2018年版)...
- 用AJAX编写一个简单的相册
- gitclone 一个tag的地址_获取Url地址中参数的几种方法
- 2011年3月四级网络工程师笔试试卷 解答思路
- 操作数据库出现错误的查找问题方法
- 谈谈前端包管理工具 npm yarn pnpm
- 计算机进制转换列表,计算机进制转换汇总
- linux安装酷q机器人,【折腾】在Docker中运行酷Q机器人
- 华为 OSPF虚链路出现环路了，如何解决?
- Html+Css实现鼠标经过图片放大
- linux上u盘怎么加密,linux使用luks加密硬盘或u盘
- Python学习-操作列表