Apache Beam中python常用函数（二）：聚合函数
文章目录
- 聚合函数
- 1.CoGroupByKey
- 2.CombineGlobally
- 3.CombinePerKey
- 4.CombineValues
- 5.Count
- 6.Distinct
- 7.GroupByKey
- 8.GroupBy
- 9.GroupIntoBatches
- 10.Latest
- 11.Max
- 12.Min
- 13.Mean
- 14.Sample
- 15.Sum
- 16.Top
聚合函数
| 函数 | 描述 |
|---|---|
| CoGroupByKey | 获取多个键控元素集合并生成一个集合，其中每个元素都包含一个键和与该键关联的所有值。 |
| CombineGlobally | 变换以组合元素。 |
| CombinePerKey | 转换以组合每个键的元素。 |
| CombineValues | 转换以组合键控迭代。 |
| Count | 计算每个聚合中的元素数。 |
| Distinct | 生成一个包含来自输入集合的不同元素的集合。 |
| GroupByKey | 获取元素的键集合并生成一个集合，其中每个元素由一个键和与该键关联的所有值组成。 |
| GroupIntoBatches | 将输入批处理为所需的批量大小。 |
| Latest | 获取具有最新时间戳的元素。 |
| Max | 获取每个聚合中具有最大值的元素。 |
| Mean | 计算每个聚合内的平均值。 |
| Min | 获取每个聚合中具有最小值的元素。 |
| Sample | 从每个聚合中随机选择一些元素。 |
| Sum | 对每个聚合中的所有元素求和。 |
| Top | 计算每个聚合中的最大元素。 |
1.CoGroupByKey
作用：通过键聚合所有输入元素，并允许下游处理使用与键关联的所有值。GroupByKey在单个输入集合上执行此操作，因此只有一种类型的输入值，而CoGroupByKey在多个输入集合上执行此操作。因此，每个键的结果是每个输入集合中与该键关联的值的元组。
在下面的例子中，我们创建了一个包含两个产品PCollection的管道，一个带有图标，一个带有持续时间，两者都有一个产品名称的公共键。然后，我们申请使用它们的键CoGroupByKey加入两个PCollections。
CoGroupByKey需要一个指定键的PCollections字典，并生成由它们的键连接的元素。每个输出元素的值都是字典，其中的名称对应于输入字典，其中包含为该键找到的所有值的列表。
import apache_beam as beamwith beam.Pipeline() as pipeline:icon_pairs = pipeline | 'Create icons' >> beam.Create([('Apple', '
Apache Beam中python常用函数（二）：聚合函数相关推荐
- MySQL中的常用函数和聚合函数
常用函数和聚合函数 官网:https://dev.mysql.com/doc/refman/8.0/en/built-in-function-reference.html 常用函数: -- ===== ...
- MySQL中的组函数（聚合函数）
MySQL中的组函数(聚合函数) 组函数操作行集,给出每组的结果.组函数不象单行函数,组函数对行的集合进行操 作,对每组给出一个结果.这些集合可能是整个表或者是表分成的组. 一.组函数与单行函数的区别 ...
- mysql function 表名作为参数_mysql 常用的分组聚合函数
mysql 常用的分组聚合函数 1.聚合运算 一般情况下,需要的聚合数据(和,平均值,最大,最小等)并不总是存储在表中,但是可以执行存储数据的计算来获取它. 根据定义,聚合函数对一组值执行计算并返回单 ...
- power bi函数_在Power BI中的行上使用聚合函数
power bi函数 Aggregate functions are one of the main building blocks in Power BI. Being used explicitl ...
- 深入浅出python机器学习_如何用python画(绘制)二维函数(二维图)?
参考文档 python 如何绘制二维函数? from matplotlib import pyplot as plt import numpy as np low=lambda x:10000 if ...
- MySql基础篇---002 SQL之SELECT使用篇： 基本的SELECT语句，运算符，排序与分页，多表查询，单行函数，聚合函数，子查询
第03章_基本的SELECT语句 讲师:尚硅谷-宋红康(江湖人称:康师傅) 官网:http://www.atguigu.com 1. SQL概述 1.1 SQL背景知识 1946 年,世界上第一台电脑 ...
- dql聚合函数_sql聚合函数有哪些
SQL聚合函数有:1.AVG函数:2.COUNT函数:3.MAX函数:4.MIN函数:5.SUM函数:6.GROUPING函数:7.CHECKSUM函数:8.STDEV函数:9.STDEVP函数:10 ...
- MySQL专题四——MySQL函数（聚合函数）
MySQL聚合函数 1.聚合函数介绍 什么是聚合函数 聚合函数作用于一组数据,并对一组数据返回一个值 聚合函数类型 AVG() SUM() MAX() MIN() COUNT() 聚合函数语法 SEL ...
- hive踩坑笔记 —— 开窗函数为聚合函数时，加order by 与不加 order by的区别
over()开窗函数前分排序函数和聚合函数两种 当为排序函数,如row_number(),rank()等时,over中的order by只起到窗口内排序作用. 当为聚合函数,如max,min,coun ...
最新文章
- 转: java学习路线图
- eclipse从数据库逆向生成Hibernate实体类
- spring中的BeanFactoryPostProcessor
- python绘制正态分布曲线
- python爬虫源码附注解_Python小白写的三个入门级的爬虫（附代码和注释）
- agv系统介绍_重载AGV小车主要结构及导航原理是什么？
- VMware vSphere克隆虚拟机
- linux删除文件夹和文件
- sql server2008r2 没有提示_SQL学习之旅（1）
- Android应用开发提高篇（4）-----Socket编程（多线程、双向通信）
- 微信小程序下拉框插件_微信小程序自定义select下拉选项框组件的实现代码_清玖_前端开发者...
- jpa 原生sql 查询返回一个实体_spring data系列之jpa
- 《笨方法学Python》第一期
- android auto能用酷狗,完美支持Android车载设备，酷狗音乐pad版使用教程
- 3d打印实用小工具--GCode Viewer在线预览GCODE文件
- Jenkins下载历史Build版本的归档文件
- word从第三页插入页码
- STAF 删除文件操作
- 微信动态二维码管理引流源码/微信活码/自动换群/微信朋友圈加群二维码
- [组合数学] NC13611树 (逆元的计算)
热门文章