oracle导入初始数据死机,Sqoop导入Oracle数据至hive卡死在hive.HiveImport: Connecting to jdbc:hive2不执行...
环境信息:
HDP-3.1.4
已经下载好odjbc8.jar驱动程序放置在/usr/hdp/current/sqoop-client/lib/目录
Sqoop读取Oracle数据库数据导入Hive时,一直卡在INFO hive.HiveImport: Connecting to jdbc:hive2:// 不懂,日志执行到下面这样子就不执行了。
20/10/19 05:16:56 WARN hive.TableDefWriter: Column SJYRQ had to be cast to a less precise type in Hive
20/10/19 05:16:56 WARN hive.TableDefWriter: Column TYSJ had to be cast to a less precise type in Hive
20/10/19 05:16:56 WARN hive.TableDefWriter: Column HFSJ had to be cast to a less precise type in Hive
20/10/19 05:16:56 INFO hive.HiveImport: Loading uploaded data into Hive
20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: Class path contains multiple SLF4J bindings.
20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: Found binding in [jar:file:/usr/hdp/3.1.4.0-315/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: Found binding in [jar:file:/usr/hdp/3.1.4.0-315/hadoop/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
20/10/19 05:16:59 INFO hive.HiveImport: Connecting to jdbc:hive2://node93.prpq:2181,node94.prpq:2181,node92.prpq:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2
方案一:
在执行sqoop命令的节点新建/etc/hive/conf/beeline-hs2-connection.xml配置文件,内容如下:
beeline.hs2.connection.user
hdfs
beeline.hs2.connection.password
hdfs
由于我们使用hdfs账号进行sqoop导入操作,所以账号和密码都配置成hdfs,比方案二好的地方是,如果hive的配置发生变化,不会被覆盖。
方案二:
参考HiveServer2 Clients配置/etc/hive/3.1.4.0-315/0/beeline-site.xml,修改点如下,原始内容:
beeline.hs2.jdbc.url.container
jdbc:hive2://cdh-m1:2181,cdh-n1:2181,cdh-n2:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2
修改为带用户名密码的
beeline.hs2.jdbc.url.container
jdbc:hive2://cdh-m1:2181,cdh-n1:2181,cdh-n2:2181/;user=hdfs;password=hdfs;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2
之后再执行sqoop import能够正常执行完毕了
oracle导入初始数据死机,Sqoop导入Oracle数据至hive卡死在hive.HiveImport: Connecting to jdbc:hive2不执行...相关推荐
- sqoop增量导入hive_使用pyspark模仿sqoop从oracle导数据到hive的主要功能(自动建表,分区导入,增量,解决数据换行符问题)...
最近公司开始做大数据项目,让我使用sqoop(1.6.4版本)导数据进行数据分析计算,然而当我们将所有的工作流都放到azkaban上时整个流程跑完需要花费13分钟,而其中导数据(增量)就占了4分钟左右 ...
- GD32F450IKH6以太网发数据死机的调试问题,求救
先说现象:板子作为以太网客户端,向服务器端一直不停的上传数据,现在发一段时间后就会死机,找不到问题,简直要崩溃了,求救~~~ 硬件和逻辑说明:板子以太网PHY芯片使用DP83848,基础收发数据,连接 ...
- 计算机死机后重启什么丢失,电脑死机后丢失的数据怎么恢复?
在日常使用电脑过程中,有些用户喜欢把很多程序一一打开,不使用的程序也不及时关闭.这样由于运行的程序越来越多出现突然卡死的情况,不管你点击鼠标还是键盘,都没有任何反应,***后大多数人都选择重启电脑. ...
- Linux拷贝数据死机了,Linux系统“死机”时怎么办?
如果问题能够再现,那么问题已经解决 80% 了.对于操作系统核心而言,如果有问题的再现方法,那么可以说是已经解决 99% 了.经常遇到的问题是系统可以正常运行一段时间,然后死机.如果不好再现问题,那么 ...
- 如何完美解决Sqoop导入导出MySQL数据错位问题
我发现小伙伴们在使用Sqoop把数据从MySQL导入到Hive的过程中经常会遇到数据错位的问题,虽然最后都是通过添加参数的方法来解决这个问题,但是我认为这并不是一个完美的解决方案,所以花了一点时间研究 ...
- datax 导入数据中文乱码_浅谈数据同步之道
数据同步,顾名思义就是不同系统的数据进行同步处理.而业务系统所涉及的数据库同步是重中之重,虽然大部分数据库都提供了导入导出的工具,但是数据存储到各个地方,Hive.Hbase.MySQL.Oracle ...
- 【5种灵活有效方式】如何从死机手机中恢复内部数据?
我的手机掉在地上,现在无法开机.我丢失了所有联系人.图片和重要文件.无奈之下,我需要恢复数据.但是如何从死机中恢复内部数据呢? 我们使用移动设备的最重要原因之一是打电话和发送消息.但有时,我们使用相同 ...
- Android 系统(126)---Android的死机、重启问题分析方法
Android的死机.重启问题分析方法 阅读数:11986 Android的死机.重启问题分析方法 1. 死机现象 1.1 死机定义 当手机长时间无法再被用户控制操作时,我们称为死机 ...
- 数据同步工具Sqoop
大数据Hadoop之--数据同步工具Sqoop Sqoop基本原理及常用方法 1 概述 Apache Sqoop(SQL-to-Hadoop)项目旨在协助RDBMS(Relational Databa ...
最新文章
- luogu P3306 [SDOI2013] 随机数生成器(BSGS,数列求通项,毒瘤特判)
- R假设检验之莫德中位数检验(Mood‘s Median Test)
- C#验证:正则表达式 验证类和界面处理(手机号码,邮箱,IP地址)
- python程序员招聘信息-IT行业程序员招聘分析
- 华为的鸿蒙系统是海思_死心了!华为鸿蒙系统首款终端确认,不是手机
- 【树莓派】最常用的树莓派 Linux 命令及说明
- UITableView使用总结和性能优化
- python中对象和类的关系_Python面向对象之类与类之间的关系
- Unity3D基础10:利用Transform组件移动物体
- sql limit 子句_SQL按子句排序
- Silverlight DataGrid 在显示数据, 如果遇到全角的符号, 好像会出错. 待测试.
- jquery 操作select
- pytorch如何用自己训练好的模型预测新的图片类型?
- 《增长黑客》节选与笔记
- OpenCV测试摄像头帧率
- MATLAB 计算点到直线的距离
- Liang-Barskey裁剪算法(计算机图形学)
- iPone强制关机 小技巧
- 【转】【Coursera公开课】Applying to U.S. Universities(如何申请美国大学)笔记
- 【解决U盘无法访问】
热门文章
- 如何使用原生的 JavaScript 代码,触发 SAP UI5 按钮控件的点击事件处理函数
- TypeScript里的中括号类型定义法
- StackBlitz里无法重命名项目的问题
- 历史上的今天:编程语言中null引用的十亿美元错误
- SAP WebClient UI component模型元数据解析工具
- SAP Netweaver后台作业的几种状态
- SAP OData服务的catalog service
- SAP官方到底提供了免费的S4HANA试用版没有?
- filter my task = true implementation logic
- repeated call of attachBrowserEvent