使用SAP Data Hub Developer Edition将数据写入Hadoop

SAP Data Hub Developer Editor有一个默认的Apache Hadoop安装。

使用如下的命令行启动Hadoop：

docker run -ti --publish 127.0.0.1:50070:50070 --name hdfs --hostname hdfs --net dev-net datahub run-hdfs

浏览器里访问控制台：

http://localhost:50070

新建一个Graph，将data Generator生成的数据写入Kafka Producer;

数据再从Kafka Consumer读取出来，输出到Write File operator里，进行持久化操作。

Write File的path指向Hadoop文件夹：

指定Hadoop的连接信息：

运行Graph之后，在Hadoop该文件夹下看到通过Write File Operator写入的文件。

要获取更多Jerry的原创文章，请关注公众号"汪子熙":

使用SAP Data Hub Developer Edition将数据写入Hadoop相关推荐

messagehub讲解_艾舜杰SAP Data Hub 数据服务总线技术深度讲解
原标题:艾舜杰SAP Data Hub 数据服务总线技术深度讲解艾舜杰SAP Data Hub 是一个多方面的数据编排解决方案, 旨在解决在不断增长的分布式数据环境中的挑战.它的关键功能包括:数据管 ...
SAP Data Hub里的Constant Generator
在SAP Data Intelligence Modeler里测试data Generator graph
打开SAP Data Intelligence Modeler,切换到Graph标签页,打开data Generator: 查看这个Data Generator的实现脚本类型:JavaScript 这 ...
DataPipeline丨LinkedIn元数据之旅的最新进展—Data Hub
作者:Mars Lan, Seyi Adebajo, Shirshanka Das 译者: DataPiepline yaran 作为全球最大的职场社交平台,LinkedIn的数据团队不断致力于扩展其 ...
python中的数据写入与添加数据写入文件（to_csv）
很多情况下,大家可能会遇到相同情况,就是现在有一些数据需要保存在某个文件里面,但是后续会不断更新添加新的数据,例如在爬虫的时候,一页一页爬取数据的时候,当然可以将所有页数据先合并到一起,再保存起来,但 ...
SAP NetWeaver 7.01 SR1 SP3 ABAP Developer Edition 电驴下载
最近没有研究什么东西,放个下载吧.SAP NetWeaver 7.01 SR1 SP3 ABAP Developer Edition,SAP 推出的免费系统平台,从官方下载速度太慢,而且不能用下载工具 ...
【笔记】基于Docker在MacBook安装Informix Developer Edition
序言 Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化.容器是完全使用沙箱机制,相互之间不会 ...
SAP系统与MES系统的数据协同技术方案
1．MES介绍本文中提到的MES系统是在西门子公司的SIMATIC IT平台上开发完成.所有的应用子系统进行统一分析.统一设计.统一开发,利用统一的开发平台和数据库系统,保证了管理系统的集成性.高效 ...
SAP Data Intelligence Graph json源代码的结构分析
以SAP Data Intelligence标准的示例Graph com.sap.demo.http.server为例,将其json代码保存到本地,使用json编辑器查看: operator之间有8条 ...

使用SAP Data Hub Developer Edition将数据写入Hadoop

使用SAP Data Hub Developer Edition将数据写入Hadoop相关推荐

最新文章

热门文章