dataflow_Java中的Cloud Dataflow快速入门
dataflow
在你开始之前
- 选择或创建一个Cloud Platform Console项目。
转到项目页面 - 为您的项目启用结算。
启用帐单 - 启用Cloud Dataflow,Compute Engine,Cloud Logging,Cloud Storage,Cloud Storage JSON,BigQuery,Cloud Pub / Sub和Cloud Datastore API。
启用API - 安装Cloud SDK 。
- 使用Google Cloud Platform验证
gcloud
:gcloud init
- 创建一个云存储桶:
- 在Cloud Platform Console中,转到Cloud Storage浏览器。
转到云存储浏览器 - 点击创建存储区 。
- 在“ 创建存储桶”对话框中,指定以下属性:
- 名称 :唯一的存储桶名称。 存储桶名称中请勿包含敏感信息,因为存储桶名称空间是全局的并且是公开可见的。
- 储藏等级 :标准
- 所在地 :美国
- 点击创建 。
- 在Cloud Platform Console中,转到Cloud Storage浏览器。
- 下载并安装Java Development Kit(JDK) 1.7版或更高版本。 验证是否已设置JAVA_HOME环境变量并指向您的JDK安装。
- 按照适用于您特定操作系统的Maven 安装指南 ,下载并安装Apache Maven 。
马丁·高纳(Martin Gorner)将在伦敦JAX上发表两个演讲。
- Google Cloud Dataflow:亲身体验Google规模的实时数据处理管道
- “谷歌再也没有人使用MapReduce” – Cloud Dataflow解释说
创建一个包含Java的Cloud Dataflow SDK和示例的Maven项目
- 使用Maven原型插件创建一个包含Java的Cloud Dataflow SDK的Maven项目。 在您的Shell或终端中运行
mvn archetype:generate
命令,如下所示:mvn archetype:generate \ -DarchetypeArtifactId=google-cloud-dataflow-java-archetypes-examples \ -DarchetypeGroupId=com.google.cloud.dataflow \ -DgroupId=com.example \ -DartifactId=first-dataflow \ -Dversion="[1.0.0,2.0.0]" \ -DinteractiveMode=false \ -Dpackage=com.google.cloud.dataflow.examples
运行命令后,您应该在当前目录下看到一个名为first-dataflow
的新目录。 first-dataflow
包含一个Maven项目,该项目包括Java的Cloud Dataflow SDK和示例管道。
在Cloud Dataflow服务上运行示例管道
- 转到
first-dataflow/
目录。 - 通过在Shell或终端窗口中使用
mvn compile exec:java
命令,在Cloud Dataflow托管服务上构建并运行名为WordCount的Cloud Dataflow示例管道。 对于--project
变量,您需要为创建的Cloud Platform项目指定Project ID。 对于--stagingLocation
和--output
参数,您需要指定在路径中创建的Cloud Storage存储桶的名称,例如,如果您的Cloud Platform Project ID是my-cloud-project而您的Cloud存储桶名称为my-wordcount-storage-bucket ,输入以下命令以运行WordCount管道:mvn compile exec:java \ -Dexec.mainClass=com.google.cloud.dataflow.examples.WordCount \ -Dexec.args="--project=<my-cloud-project> \ --stagingLocation=gs://<my-wordcount-storage-bucket>/staging/ \ --output=gs://<your-bucket-id>/output \ --runner=BlockingDataflowPipelineRunner"
- 检查您的工作是否成功:
- 在Google Cloud Platform Console中打开Cloud Dataflow Monitoring UI。
转到Cloud Dataflow Monitoring UI
首先,您应该看到单词计数作业的状态为“正在运行” ,然后显示“ 成功” :
- 在Google Cloud Platform Console中打开Cloud Dataflow Monitoring UI。
- 在Google Cloud Platform Console中打开Cloud Storage Browser。 转到云存储浏览器
在存储桶中,您应该看到作业创建的输出文件和登台文件:
清理
为避免在此快速入门中对您的Google Cloud Platform帐户产生费用,请执行以下操作:
- 在Google Cloud Platform Console中打开Cloud Storage浏览器 。
- 选中您创建的存储桶旁边的复选框。
- 单击删除 。
- 单击删除以永久删除存储桶及其内容。
http://www.taodudu.cc/news/show-3893139.html
相关文章:
- 数据分析面试中异常分析(人货场版)
- 在“人货场”这三个因素中,最影响电商直播效果的是哪一个?
- 你知道什么是人货场模型吗
- 抖音直播离不开的,人货场
- 元宇宙“人货场”助力汽车驶向未来
- 对话顶立欧雅纳特丨传统制造企业的“人货场”重构该从何入手?
- 双11系列 | 智能应用全面升级 重构“人货场”
- ”人货场”模型搞懂没?数据分析大部分场景都能用!
- 数商云经销商订货管理系统解决方案:订货平台全渠道覆盖,人货场一体化多终端管理
- 【数据分析方法论】人货场分析框架的衍生
- 帷幄空间数据平台 - 新零售人货场重构 新零售人货场的定义
- 基于人货场内容的产品设计攻略
- sql_数据分析之电商人货场模型分析之指标体系拆解+代码实操 (用户留存、RFM模型、 用户路径分析等)
- 蜂巢私域案例分析:利用SCRM系统重构“人货场”
- 数据分析师13-人货场理论(精准提效的前提是分层)
- 阿里达摩盘:如何运用“人货场”方法构建标签体系?
- 在线销售数据分析–人货场三维分析角度
- 兴趣电商-人货场
- 【数据分析中的常用模型】篇1:人货场模型:如何开好一家便利店
- 数据分析 - 人货场模型(学习笔记)
- 「MySQL」电商“人货场”指标体系
- mysql电商人货场指标体系
- 【数据分析案例】pandas + matplotlib 人货场+RFM+用户复购分析 电商水果销售
- 数据分析八大模型:人货场模型
- 家庭如何实现外网映射?--最全的保姆式教学
- 阿里云服务器定时跑python_Python实现定时任务
- 我用群晖和电信公网IP做了这些事情
- unifi 华为_使用Unifi Dream Machine Pro自定义动态DNS
- 阿里云域名解析完成后仍然无法通过域名正常访问网站
- RouterOS利用aliyun的API接口实现DDNS动态解析
dataflow_Java中的Cloud Dataflow快速入门相关推荐
- 人工智能中的分析学快速入门之知识体系
关于人工智能中的分析学快速入门的介绍安排如下:(1)在知识体系构成部分,将详细介绍AI所需的分析学核心知识,即微积分知识:其它内容(诸如数学分析.实分析.复分析.傅里叶分析.泛函分析等)不做展开和深入 ...
- 人工智能中的分析学快速入门之著名教材
分析学方面,特别是微积分方面的教材特别多,这里推荐几本国内外非常著名的教材,以供大家参考,国外的教材写的比较生动详尽,将理论的来龙去脉交代得非常清楚:国内的教材则写的比较简洁,框架比较清晰.两者各有优 ...
- Spring Cloud Alibaba 快速入门(七):Gateway微服务网关
前言:在微服务架构中,有一个组件可以说是必不可少的,那就是微服务网关.微服务网关处理了路由转发,负载均衡,缓存,权限校验,监控,限流控制,日志等.Spring Cloud Gateway是Spring ...
- Cloud Foundry 快速入门 (cf工具)
Cloud Foundry(简称CF)是一个大型可扩展性的APP引擎平台.CF可以帮助开发者快速的运行并延展新创建的APP,缩短与用户的反馈周期,同时使网络资源管理简单化自动化. 对于一名软件开发员, ...
- hbase中为何不能向表中插入数据_Hbase快速入门(超精炼总结)
基本概念: HBase是列簇式Key-Value存储系统,构建在HDFS之上的.支持随机插入和删除. 总结Hbase的架构核心,就两个字"有序" . 磁盘的读写,随机与顺序,相差3 ...
- 第5章第21节:实现Widget对应的完整应用中的功能 [SwiftUI快速入门到实战]
本节继续天气小组件的制作,您将实现Widget对应的完整应用中的功能,用户可以在应用中挑选目标城市,再由Widget显示该城市的天气信息. 由于要在应用和Widget之间传递数据,所以需要将应用和Wi ...
- java中的gui_java gui快速入门教程
JCheckBox和JRadioButton使用示例 import java.awt.*; import javax.swing.*; class Hobby extends JPanel { JCh ...
- ibm cloud怎么使用_使用VueJS,FeathersJS和GraphQL快速入门IBM Cloud
ibm cloud怎么使用 by Thomas Reinecke 由托马斯·雷内克(Thomas Reinecke) 使用VueJS,FeathersJS和GraphQL快速入门IBM Cloud ( ...
- JDBC概念快速入门工具类Util的写法
JDBC概念&快速入门&工具类Util的写法 概念 Java Database Connectivity Java 数据库连接,用Java语言操作数据库 JDBC本质:官方定义的一套操 ...
最新文章
- R语言ggplot2可视化使用vjust和hjust参数对齐图像中的文本注释信息(左对齐、右对齐、居中)实战
- html5 生存游戏,html5版生命游戏
- python写的游戏怎么给别人玩-用python写游戏脚本原来这么简单
- RedHat5.6x64下配置Oracle11g
- 直击痛点,详解 K8s 日志采集最佳实践
- JS的document.all函数使用 示例
- 节点服务器虚拟网络,虚拟网络功能节点放置研究
- Windows Server 2008虚拟化功能解析
- 分布式交换机配置备份和还原
- 哪些情况需用到数据分析工具
- 【生活相关】一(坚持)
- shell——按指定列排序
- IO负载高的来源定位
- Redis 常用命令
- C# 判断电脑是否装Arcgis软件
- 创业之前必须要做的八个测试(上)
- (附源码)Python学生兼职平台系统 毕业设计 160938
- 代码进行insmod/rmmod操作
- java求矩阵条件数_数值分析:矩阵求逆-奇异性、条件数
- 全国职称计算机应用能力考试6,全国职称计算机应用能力考试.doc
热门文章
- C# 控制台程序 隐藏控制台窗口
- 30+,还能不能转行数据分析?
- 牵手PeckShield,当红DeFi项目Aave爆炸式增长的背后?
- Python 零基础入门数据分析实战之小费数据集应用
- IDE中maven依赖jar包报错的处理
- Linux上Jvm性能调优方法
- 黄冈科技职业学院 T软件计算机课,黄冈科技职业学院学期授课计划(修改后定)...
- PL/SQL美化规则文件详解
- 中北大学-激光3D打印WC-12Co硬质合金高温性能研究成果
- 计算机软件版本如何命名,软件项目版本号的命名规则及格式