配置hive-site.xml

hive.support.concurrency = true
hive.enforce.bucketing = true
hive.exec.dynamic.partition.mode = nonstrict
hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager
hive.compactor.initiator.on = true
hive.compactor.worker.threads = 1

以上是方便此文章布局,所以就没用xml格式。配置完后需重启hive的HiveMetaStore

建表要求

支持delete和update的表的配置必须是如下:


CREATE TABLE `jdb.t_user`(id BIGINT ,username STRING COMMENT '用户名',phone STRING,create_time TIMESTAMP COMMENT '创建时间') clustered by (id) into 2 buckets STORED AS ORC TBLPROPERTIES('transactional'='true');

必须是ORC格式、分桶和指定TBLPROPERTIES('transactional'='true')。

测试语句

create database jdb;
insert into jdb.t_user values(1,'jevoncode','18888888888','2018-06-11 13:34'),(2,'jevoncode','18888888888','2018-06-11 13:34'),(3,'jevoncode','18888888888','2018-06-11 13:34'),(4,'jevoncode','18888888888','2018-06-11 13:34'),(5,'jevoncode','18888888888','2018-06-11 13:34'),(6,'jevoncode','18888888888','2018-06-11 13:34');
delete from jdb.t_user where id=1;

TroubleShooting

1.在hive执行语句报以下错:

FAILED: LockException [Error 10280]: Error communicating with the metastore  

HIVE_IN_TEST或者HIVE_IN_TEZ_TEST.只有在测试环境中才能用delete,update操作,也可以理解,毕竟还没有开发完全。所以需要在hive-site.xml添加配置:

<property>
<name>hive.in.test</name>
<value>true</value>
</property>

jdbc配置

使用hiveserver2提供jdbc功能

可以与mybatis结合起来用,不过报以下错误:

2018-06-11 15:30:31.527 [http-nio-8762-exec-2] INFO  com.zaxxer.hikari.pool.PoolBase(516)  - HikariPool-1 - Driver does not support get/set network timeout for connections. (Method not supported)
2018-06-11 15:30:31.527 [http-nio-8762-exec-2] DEBUG com.zaxxer.hikari.pool.PoolBase(127)  - HikariPool-1 - Closing connection org.apache.hive.jdbc.HiveConnection@2549598: (Failed to create/setup connection)
2018-06-11 15:30:31.531 [http-nio-8762-exec-2] DEBUG org.apache.thrift.transport.TSaslTransport(498)  - writing data length: 83
2018-06-11 15:30:31.609 [http-nio-8762-exec-2] DEBUG org.apache.thrift.transport.TSaslTransport(459)  - CLIENT: reading data length: 40
2018-06-11 15:30:31.612 [http-nio-8762-exec-2] DEBUG com.zaxxer.hikari.pool.HikariPool(480)  - HikariPool-1 - Cannot acquire connection from data source
java.sql.SQLException: Method not supportedat org.apache.hive.jdbc.HiveConnection.setReadOnly(HiveConnection.java:1262)at com.zaxxer.hikari.pool.PoolBase.setupConnection(PoolBase.java:409)at com.zaxxer.hikari.pool.PoolBase.newConnection(PoolBase.java:370)at com.zaxxer.hikari.pool.PoolBase.newPoolEntry(PoolBase.java:194)at com.zaxxer.hikari.pool.HikariPool.createPoolEntry(HikariPool.java:460)at com.zaxxer.hikari.pool.HikariPool.checkFailFast(HikariPool.java:534)at com.zaxxer.hikari.pool.HikariPool.<init>(HikariPool.java:115)

升级hive-jdbc版本到2.0.0版本以上即可

2018年第31周-hive支持的Delete和Update的配置相关推荐

  1. 2018.01.21.一周机器学习周记

    时间:2018.01.21.一周 主要内容 1.整理前期关于决策树的一个小型实践项目文档(实践进行中) 2.搭建TensorFlow环境(进行中) 3.拓展:实践Python的自动化模块pyautog ...

  2. 天猫京东618下单金额近万亿;苹果或选择印度组装新款iPhone SE;Adobe将于12月31日终止支持Flash| 极客头条...

    整理 | 屠敏 头图 | CSDN 下载自东方 IC 快来收听极客头条音频版吧,智能播报由出门问问「魔音工坊」提供技术支持. 「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极 ...

  3. 为什么使用Hive?Hive提供了什么?Hive支持哪些用户?

    为什么使用Hive? 为什么使用Hive?那么,在哪里使用Hive呢?在载入了60亿行(经度.维度.时间.数据值.高度)数据集到MySQL后,系统崩溃了,并经历过数据丢失.这可能部分是因为我们最初的策 ...

  4. 让Hive支持行级insert、update、delete

    首先:欢迎各位学习java和大数据的程序员朋友们加入Java交流学习群: 721506929群里提供免费的架构学习资料,直播讲解,讲师都是有着十几年阿里java开发经验的大牛,欢迎各位前来围观学习. ...

  5. 分享Kali Linux 2017年第31周镜像文件

     分享Kali Linux 2017年第31周镜像文件  Kali Linux官方于7月30日发布2017年的第31周镜像.这次维持了11个镜像文件的规模.默认的Gnome桌面的4个镜像,E17.KD ...

  6. 20200727:力扣第31周双周赛题解

    力扣第31周双周赛题解 题目一:在区间范围内统计奇数数目 给你两个非负整数low和high,请你返回low和high之间(包含二者)奇数的数目 0 <= low <= high <= ...

  7. CDH中配置hive支持update delete

    cdh hive支持update delete参数配置方法 以下配置项必须被设定: Client端:hive.support.concurrency – true hive.enforce.bucke ...

  8. hive支持所有mysql语法_Hive sql 语法解读 | 学步园

    一. 创建表 在官方的wiki里,example是这样的: Sql代码 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name da ...

  9. 配置tomcat支持http delete和put的方法

    来源:http://blog.sina.com.cn/s/blog_4b5bc01101013flw.html WebDAV(Web-based Distributed Authoring and V ...

最新文章

  1. SWT 和 SWING
  2. 三大框架整合教程(Spring+SpringMVC+MyBatis)
  3. RxJava 教程第一部分:入门之 关键的类
  4. vc6怎么看错误在哪_网红莉哥怎么红的为什么被封了 网红莉哥1400事件视频在哪看...
  5. 利用这些心理学效应,轻松拿到满意offer
  6. vue混合开发笔记, this的指向
  7. php 的定界符 eof
  8. 算法学习(6)----整数转换为格雷码
  9. python的抽象类详解_Python抽象类以及元类
  10. 软考 系统分析师教程 免费拿走不谢
  11. dsoframer java_[转]内嵌WORD/OFFICE的WINFORM程序——DSOFRAMER使用小结
  12. Windows绘图基础
  13. 设计模式23篇(VIP典藏版)
  14. matlab 控制声卡,用MATLAB和声卡实现T型波信号发生器的设计方法
  15. 《计算机安全与防护》教学反思,“计算机安全与防护教学设计”教学设计...
  16. Mysql基础命令语句(1)
  17. Markdown语法介绍(详细)
  18. 跨越OpenGL和D3D的鸿沟
  19. 我是鉴黄师,在工作中遇到了我的前女友……
  20. 简笔画花边边框超简单_花边简笔画简单又漂亮 手抄报的边框图片大全

热门文章

  1. java接口自动化(二) - 接口测试的用例设计
  2. 第一:Python安装需要的第三方库时,命令行输入pip提示不是内部或外部命令
  3. 本地算术验证码识别教程
  4. [Perl系列—] 1. 清空目录及目录中的所有文件
  5. 前端拦截url参数xss攻击_闲庭信步聊前端 - 漫谈XSS
  6. html 文字中不换行怎么写,HTML让字体在一行内显示不换行
  7. java 获取调用者方法_java获取调用当前方法的方法名和行数
  8. STM32之外部中断
  9. java http 表单提交_java模仿http表单提交数据(含文件上传)实例源码
  10. kettle升级jetty10实验(未完成jaas认证)