dataflow

在你开始之前

  1. 选择或创建一个Cloud Platform Console项目。
    转到项目页面
  2. 为您的项目启用结算。
    启用帐单
  3. 启用Cloud Dataflow,Compute Engine,Cloud Logging,Cloud Storage,Cloud Storage JSON,BigQuery,Cloud Pub / Sub和Cloud Datastore API。
    启用API
  4. 安装Cloud SDK 。
  5. 使用Google Cloud Platform验证gcloud
    gcloud init
  6. 创建一个云存储桶:
    1. 在Cloud Platform Console中,转到Cloud Storage浏览器。
      转到云存储浏览器
    2. 点击创建存储区
    3. 在“ 创建存储桶”对话框中,指定以下属性:
      • 名称 :唯一的存储桶名称。 存储桶名称中请勿包含敏感信息,因为存储桶名称空间是全局的并且是公开可见的。
      • 储藏等级 :标准
      • 所在地 :美国
    4. 点击创建
  7. 下载并安装Java Development Kit(JDK) 1.7版或更高版本。 验证是否已设置JAVA_HOME环境变量并指向您的JDK安装。
  8. 按照适用于您特定操作系统的Maven 安装指南 ,下载并安装Apache Maven 。

马丁·高纳(Martin Gorner)将在伦敦JAX上发表两个演讲。

  • Google Cloud Dataflow:亲身体验Google规模的实时数据处理管道
  • “谷歌再也没有人使用MapReduce” – Cloud Dataflow解释说

创建一个包含Java的Cloud Dataflow SDK和示例的Maven项目

  1. 使用Maven原型插件创建一个包含Java的Cloud Dataflow SDK的Maven项目。 在您的Shell或终端中运行mvn archetype:generate命令,如下所示:

    mvn archetype:generate \
    -DarchetypeArtifactId=google-cloud-dataflow-java-archetypes-examples \
    -DarchetypeGroupId=com.google.cloud.dataflow \
    -DgroupId=com.example \
    -DartifactId=first-dataflow \
    -Dversion="[1.0.0,2.0.0]" \
    -DinteractiveMode=false \
    -Dpackage=com.google.cloud.dataflow.examples

运行命令后,您应该在当前目录下看到一个名为first-dataflow的新目录。 first-dataflow包含一个Maven项目,该项目包括Java的Cloud Dataflow SDK和示例管道。

在Cloud Dataflow服务上运行示例管道

  1. 转到first-dataflow/目录。
  2. 通过在Shell或终端窗口中使用mvn compile exec:java命令,在Cloud Dataflow托管服务上构建并运行名为WordCount的Cloud Dataflow示例管道。 对于--project变量,您需要为创建的Cloud Platform项目指定Project ID。 对于--stagingLocation--output参数,您需要指定在路径中创建的Cloud Storage存储桶的名称,例如,如果您的Cloud Platform Project ID是my-cloud-project而您的Cloud存储桶名称为my-wordcount-storage-bucket ,输入以下命令以运行WordCount管道:
    mvn compile exec:java \
    -Dexec.mainClass=com.google.cloud.dataflow.examples.WordCount \
    -Dexec.args="--project=<my-cloud-project> \
    --stagingLocation=gs://<my-wordcount-storage-bucket>/staging/ \
    --output=gs://<your-bucket-id>/output \
    --runner=BlockingDataflowPipelineRunner"
  3. 检查您的工作是否成功:
    1. 在Google Cloud Platform Console中打开Cloud Dataflow Monitoring UI。
      转到Cloud Dataflow Monitoring UI
      首先,您应该看到单词计数作业的状态为“正在运行” ,然后显示“ 成功”

  • 在Google Cloud Platform Console中打开Cloud Storage Browser。 转到云存储浏览器
    在存储桶中,您应该看到作业创建的输出文件和登台文件:


清理

为避免在此快速入门中对您的Google Cloud Platform帐户产生费用,请执行以下操作:

  1. 在Google Cloud Platform Console中打开Cloud Storage浏览器 。
  2. 选中您创建的存储桶旁边的复选框。
  3. 单击删除
  4. 单击删除以永久删除存储桶及其内容。

http://www.taodudu.cc/news/show-3893139.html

相关文章:

  • 数据分析面试中异常分析(人货场版)
  • 在“人货场”这三个因素中,最影响电商直播效果的是哪一个?
  • 你知道什么是人货场模型吗
  • 抖音直播离不开的,人货场
  • 元宇宙“人货场”助力汽车驶向未来
  • 对话顶立欧雅纳特丨传统制造企业的“人货场”重构该从何入手?
  • 双11系列 | 智能应用全面升级 重构“人货场”
  • ”人货场”模型搞懂没?数据分析大部分场景都能用!
  • 数商云经销商订货管理系统解决方案:订货平台全渠道覆盖,人货场一体化多终端管理
  • 【数据分析方法论】人货场分析框架的衍生
  • 帷幄空间数据平台 - 新零售人货场重构 新零售人货场的定义
  • 基于人货场内容的产品设计攻略
  • sql_数据分析之电商人货场模型分析之指标体系拆解+代码实操 (用户留存、RFM模型、 用户路径分析等)
  • 蜂巢私域案例分析:利用SCRM系统重构“人货场”
  • 数据分析师13-人货场理论(精准提效的前提是分层)
  • 阿里达摩盘:如何运用“人货场”方法构建标签体系?
  • 在线销售数据分析–人货场三维分析角度
  • 兴趣电商-人货场
  • 【数据分析中的常用模型】篇1:人货场模型:如何开好一家便利店
  • 数据分析 - 人货场模型(学习笔记)
  • 「MySQL」电商“人货场”指标体系
  • mysql电商人货场指标体系
  • 【数据分析案例】pandas + matplotlib 人货场+RFM+用户复购分析 电商水果销售
  • 数据分析八大模型:人货场模型
  • 家庭如何实现外网映射?--最全的保姆式教学
  • 阿里云服务器定时跑python_Python实现定时任务
  • 我用群晖和电信公网IP做了这些事情
  • unifi 华为_使用Unifi Dream Machine Pro自定义动态DNS
  • 阿里云域名解析完成后仍然无法通过域名正常访问网站
  • RouterOS利用aliyun的API接口实现DDNS动态解析

dataflow_Java中的Cloud Dataflow快速入门相关推荐

  1. 人工智能中的分析学快速入门之知识体系

    关于人工智能中的分析学快速入门的介绍安排如下:(1)在知识体系构成部分,将详细介绍AI所需的分析学核心知识,即微积分知识:其它内容(诸如数学分析.实分析.复分析.傅里叶分析.泛函分析等)不做展开和深入 ...

  2. 人工智能中的分析学快速入门之著名教材

    分析学方面,特别是微积分方面的教材特别多,这里推荐几本国内外非常著名的教材,以供大家参考,国外的教材写的比较生动详尽,将理论的来龙去脉交代得非常清楚:国内的教材则写的比较简洁,框架比较清晰.两者各有优 ...

  3. Spring Cloud Alibaba 快速入门(七):Gateway微服务网关

    前言:在微服务架构中,有一个组件可以说是必不可少的,那就是微服务网关.微服务网关处理了路由转发,负载均衡,缓存,权限校验,监控,限流控制,日志等.Spring Cloud Gateway是Spring ...

  4. Cloud Foundry 快速入门 (cf工具)

    Cloud Foundry(简称CF)是一个大型可扩展性的APP引擎平台.CF可以帮助开发者快速的运行并延展新创建的APP,缩短与用户的反馈周期,同时使网络资源管理简单化自动化. 对于一名软件开发员, ...

  5. hbase中为何不能向表中插入数据_Hbase快速入门(超精炼总结)

    基本概念: HBase是列簇式Key-Value存储系统,构建在HDFS之上的.支持随机插入和删除. 总结Hbase的架构核心,就两个字"有序" . 磁盘的读写,随机与顺序,相差3 ...

  6. 第5章第21节:实现Widget对应的完整应用中的功能 [SwiftUI快速入门到实战]

    本节继续天气小组件的制作,您将实现Widget对应的完整应用中的功能,用户可以在应用中挑选目标城市,再由Widget显示该城市的天气信息. 由于要在应用和Widget之间传递数据,所以需要将应用和Wi ...

  7. java中的gui_java gui快速入门教程

    JCheckBox和JRadioButton使用示例 import java.awt.*; import javax.swing.*; class Hobby extends JPanel { JCh ...

  8. ibm cloud怎么使用_使用VueJS,FeathersJS和GraphQL快速入门IBM Cloud

    ibm cloud怎么使用 by Thomas Reinecke 由托马斯·雷内克(Thomas Reinecke) 使用VueJS,FeathersJS和GraphQL快速入门IBM Cloud ( ...

  9. JDBC概念快速入门工具类Util的写法

    JDBC概念&快速入门&工具类Util的写法 概念 Java Database Connectivity Java 数据库连接,用Java语言操作数据库 JDBC本质:官方定义的一套操 ...

最新文章

  1. R语言ggplot2可视化使用vjust和hjust参数对齐图像中的文本注释信息(左对齐、右对齐、居中)实战
  2. html5 生存游戏,html5版生命游戏
  3. python写的游戏怎么给别人玩-用python写游戏脚本原来这么简单
  4. RedHat5.6x64下配置Oracle11g
  5. 直击痛点,详解 K8s 日志采集最佳实践
  6. JS的document.all函数使用 示例
  7. 节点服务器虚拟网络,虚拟网络功能节点放置研究
  8. Windows Server 2008虚拟化功能解析
  9. 分布式交换机配置备份和还原
  10. 哪些情况需用到数据分析工具
  11. 【生活相关】一(坚持)
  12. shell——按指定列排序
  13. IO负载高的来源定位
  14. Redis 常用命令
  15. C# 判断电脑是否装Arcgis软件
  16. 创业之前必须要做的八个测试(上)
  17. (附源码)Python学生兼职平台系统 毕业设计 160938
  18. 代码进行insmod/rmmod操作
  19. java求矩阵条件数_数值分析:矩阵求逆-奇异性、条件数
  20. 全国职称计算机应用能力考试6,全国职称计算机应用能力考试.doc

热门文章

  1. C# 控制台程序 隐藏控制台窗口
  2. 30+,还能不能转行数据分析?
  3. 牵手PeckShield,当红DeFi项目Aave爆炸式增长的背后?
  4. Python 零基础入门数据分析实战之小费数据集应用
  5. IDE中maven依赖jar包报错的处理
  6. Linux上Jvm性能调优方法
  7. 黄冈科技职业学院 T软件计算机课,黄冈科技职业学院学期授课计划(修改后定)...
  8. PL/SQL美化规则文件详解
  9. 中北大学-激光3D打印WC-12Co硬质合金高温性能研究成果
  10. 计算机软件版本如何命名,软件项目版本号的命名规则及格式