beam transform

和rdd不同，beam的transform可能是多个输入，多个输出，所有transform是节点，PCollection是边

Beam 中的 PCollection 有一个抽象的成员函数Apply。使用任何一个 Transform 时候，你都需要调用这个 apply 方法。

pcollection1 = pcollection2.apply(Transform)final_collection = input_collection.apply(Transform1)
.apply(Transform2)
.apply(Transform3)

常见transform接口：ParDo、GroupByKey。
ParDo 就是 Parallel Do 的意思，通用的并行处理数据操作。
在编写 ParDo 时，你的输入是一个 PCollection 中的单个元素，输出可以是 0 个、1 个，或者是多个元素。作用：过滤一个数据集、格式转化一个数据集、提取一个数据集的特定值

无状态的操作：

static class UpperCaseFn extends DoFn<String, String> {@ProcessElementpublic void processElement(@Element String word, OutputReceiver<String> out) {out.output(word.toUpperCase());}
}PCollection<String> upperCaseWords = words.apply(ParDo.of(new UpperCaseFn())); pcollection.apply(ParDo.of(new DoFn()))

有状态的操作：比如要根据数据库中的数据操作数据

Stateful Transform 和 side input/side output

PCollectionView<Integer> mediumSpending = ...;PCollection<String> usersBelowMediumSpending =userIds.apply(ParDo.of(new DoFn<String, String>() {@ProcessElementpublic void processElement(@Element String userId, OutputReceiver<String> out, ProcessContext c) {int medium = c.sideInput(mediumSpending);if (findSpending(userId) <= medium) {out.output(userId);}}}).withSideInputs(mediumSpending));

beam transform相关推荐

Apache Beam开发指南
http://blog.csdn.net/blwinner/article/details/54908057 本指南用于指导Beam用户使用Beam SDK创建数据处理pipeline(pipelin ...
Apache Beam指南
Apache Beam 标签(空格分隔): Hadoop 1. What is Beam ? 前世今生: 诞生背景: 分布式数据处理发展迅猛 –> 新的分布式数据处理技术越来越多 –> H ...
谷歌发布全新TensorFlow库“tf.Transform” 简化机器学习数据预处理过程
在实际的机器学习开发中,开发者通常需要对数据集进行大量的耗时费力的预处理过程,以适应各种不同标准的机器学习模型(例如神经网络).这些预处理过程根据待解问题的不同和原始数据的组织形式而各不相同,包括不同 ...
apache beam_Apache Beam ML模型部署
apache beam This blog post builds on the ideas started in three previous blog posts. 这篇博客文章基于之前三篇博 ...
apache beam java api_Apache Beam的基本概念
不多说,直接上干货! Apache Beam的基本概念在使用Apache Beam构建数据处理程序,首先需要使用Beam SDK中的类创建一个Driver程序,在Driver程序中创建一个满足我们数 ...
Beam数据流水线——Pipeline
目录 Beam简介基本概念数据流水线 Beam数据流水线的应用 Beam数据流水线的处理模型 Beam数据流水线的错误处理单Transform错误处理多步骤Transform错误处理 Beam ...
Apache Beam 使用指南（一）
Apache Beam 一.概述更多 Apache Beam 代码案例:https://github.com/xiye50070/Apache-Beam-Model.git Apache Beam是 ...
Apache Beam -- 简介
概述在大数据的浪潮之下,技术的更新迭代十分频繁.受技术开源的影响,大数据开发者提供了十分丰富的工具.但也因为如此,增加了开发者选择合适工具的难度.在大数据处理一些问题的时候,往往使用的技术是多样化的 ...
Apache Beam 架构原理及应用实践
导读:大家好,很荣幸跟大家分享 Apache Beam 架构原理及应用实践.讲这门课之前大家可以想想,从进入 IT 行业以来,不停的搬运数据,不管职务为前端,还是后台服务器端开发.随着这两年科技的发展 ...

beam transform

beam transform相关推荐

最新文章

热门文章