nifi将hive同步到oracle,NiFi使用总结一 hive到hive的PutHiveStreaming processor和SelectHiveQL...

我说实话，NiFi的坑真的挺多的。。。

1、PutHiveStreaming processor的使用

该控制器配置需要hive启用事物；且目前只支持orc格式，且建表需要分桶，开启事务等，建表示例如下：

create tabletest_trancaction

(user_id Int,name String)clustered by (user_id) into 3buckets

storedas orc TBLPROPERTIES ('transactional'='true');

hive的事物配置，hive-site.xml配置添加：

hive.support.concurrency

true

hive.enforce.bucketing

true

hive.exec.dynamic.partition.mode

nonstrict

hive.txn.manager

org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

hive.compactor.initiator.on

true

hive.compactor.worker.threads

具体配置：

PutHiveStreaming

SelectHiveQL：

双击，进入config配置：

HiveConnectionPool配置：

勾选自动终止关系类型：可以都选上

选择调度策略：

有三种，常用的有time driven，CRON driven

简单测试使用Run Schedule不要用0秒，不然会一直不停的在写入数据。。。

有关调度策略下篇在做具体说明

运行一下看看：

源数据：

配置好之后右键点击start

过一分钟左右查看插入数据：

条数有可能不止14条，后续再研究调度的程序设置；

到此为止简单实现了hive-hive的配置

nifi将hive同步到oracle,NiFi使用总结一 hive到hive的PutHiveStreaming processor和SelectHiveQL...相关推荐

sqoop操作之HIVE导出到ORACLE
示例数据准备 hive中创建dept表 create table dept( deptno int, dname string, loc string ) row format delimited f ...
ORACLE NOT EXISTS不等值改写成hive
ORACLE NOT EXISTS不等值改写成hive SELECT A.A1, A.A2,A.A3,A.A4FROM ALEFT JOIN C ON A.A6= C.C6WHERE NOT EXI ...
hive相对于oracle的优点,【Hive】Hive面试题
1.hive的join有几种方式,怎么实现join的? left join --以左表为基准,不符合的值以null值显示 --工作中以left join 居多,大表加载小表的形式 select emp ...
hive 时间转字符串_大数据面试杀招——Hive高频考点，还不会的进来挨打
一.什么是Hive,为什么要用Hive,你是如何理解Hive? 面试官往往一上来就一个"灵魂三连问",很多没有提前准备好的小伙伴基本回答得都磕磕绊绊,效果不是很好.下面贴出菌哥的回 ...
2021年大数据Hive（三）：手把手教你如何吃透Hive数据库和表操作（学会秒变数仓大佬）
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录系列历史文章前言 Hive数据库和表操作一.数据库操作 1.创建数据库 2.创建 ...
整合hive基于cdh6_Flink 作为现代数据仓库的统一引擎：Hive 集成生产就绪！
在2020年,你的数据仓库和基础设施需要满足哪些需求? 我们总结了几下几点: 首先,当下的企业正快速转向更实时化的模式,这要求企业具备对线上流式数据进行低延迟处理的能力,以满足实时(real-time ...
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version, Cause:Table ‘hive.
CDH报错:org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version, Cause:Table ...
数据仓库Hive编程——HiveQL的数据定义（一）：Hive中的数据库
分类目录:商业智能<数据仓库Hive编程>总目录相关文章: HiveQL的数据定义(一):Hive中的数据库 HiveQL的数据定义(二):修改数据库 HiveQL的数据定义(三):创建 ...
Hive启动报错 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang
Hive启动报错 [lili@hadoop102 hive]$ bin/hive which: no hbase in (/usr/lib64/qt-3.3/bin:/usr/local/bin:/b ...

nifi将hive同步到oracle,NiFi使用总结一 hive到hive的PutHiveStreaming processor和SelectHiveQL...

nifi将hive同步到oracle,NiFi使用总结一 hive到hive的PutHiveStreaming processor和SelectHiveQL...相关推荐

最新文章

热门文章

nifi将hive同步到oracle,NiFi使用总结 一 hive到hive的PutHiveStreaming processor和SelectHiveQL...

nifi将hive同步到oracle,NiFi使用总结 一 hive到hive的PutHiveStreaming processor和SelectHiveQL...相关推荐

最新文章

热门文章

nifi将hive同步到oracle,NiFi使用总结一 hive到hive的PutHiveStreaming processor和SelectHiveQL...

nifi将hive同步到oracle,NiFi使用总结一 hive到hive的PutHiveStreaming processor和SelectHiveQL...相关推荐