环境信息:

HDP-3.1.4

已经下载好odjbc8.jar驱动程序放置在/usr/hdp/current/sqoop-client/lib/目录

Sqoop读取Oracle数据库数据导入Hive时,一直卡在INFO hive.HiveImport: Connecting to jdbc:hive2:// 不懂,日志执行到下面这样子就不执行了。

20/10/19 05:16:56 WARN hive.TableDefWriter: Column SJYRQ had to be cast to a less precise type in Hive

20/10/19 05:16:56 WARN hive.TableDefWriter: Column TYSJ had to be cast to a less precise type in Hive

20/10/19 05:16:56 WARN hive.TableDefWriter: Column HFSJ had to be cast to a less precise type in Hive

20/10/19 05:16:56 INFO hive.HiveImport: Loading uploaded data into Hive

20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: Class path contains multiple SLF4J bindings.

20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: Found binding in [jar:file:/usr/hdp/3.1.4.0-315/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]

20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: Found binding in [jar:file:/usr/hdp/3.1.4.0-315/hadoop/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]

20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

20/10/19 05:16:57 INFO hive.HiveImport: SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

20/10/19 05:16:59 INFO hive.HiveImport: Connecting to jdbc:hive2://node93.prpq:2181,node94.prpq:2181,node92.prpq:2181/default;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2

方案一:

在执行sqoop命令的节点新建/etc/hive/conf/beeline-hs2-connection.xml配置文件,内容如下:

beeline.hs2.connection.user

hdfs

beeline.hs2.connection.password

hdfs

由于我们使用hdfs账号进行sqoop导入操作,所以账号和密码都配置成hdfs,比方案二好的地方是,如果hive的配置发生变化,不会被覆盖。

方案二:

参考HiveServer2 Clients配置/etc/hive/3.1.4.0-315/0/beeline-site.xml,修改点如下,原始内容:

beeline.hs2.jdbc.url.container

jdbc:hive2://cdh-m1:2181,cdh-n1:2181,cdh-n2:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2

修改为带用户名密码的

beeline.hs2.jdbc.url.container

jdbc:hive2://cdh-m1:2181,cdh-n1:2181,cdh-n2:2181/;user=hdfs;password=hdfs;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2

之后再执行sqoop import能够正常执行完毕了

oracle导入初始数据死机,Sqoop导入Oracle数据至hive卡死在hive.HiveImport: Connecting to jdbc:hive2不执行...相关推荐

  1. sqoop增量导入hive_使用pyspark模仿sqoop从oracle导数据到hive的主要功能(自动建表,分区导入,增量,解决数据换行符问题)...

    最近公司开始做大数据项目,让我使用sqoop(1.6.4版本)导数据进行数据分析计算,然而当我们将所有的工作流都放到azkaban上时整个流程跑完需要花费13分钟,而其中导数据(增量)就占了4分钟左右 ...

  2. GD32F450IKH6以太网发数据死机的调试问题,求救

    先说现象:板子作为以太网客户端,向服务器端一直不停的上传数据,现在发一段时间后就会死机,找不到问题,简直要崩溃了,求救~~~ 硬件和逻辑说明:板子以太网PHY芯片使用DP83848,基础收发数据,连接 ...

  3. 计算机死机后重启什么丢失,电脑死机后丢失的数据怎么恢复?

    在日常使用电脑过程中,有些用户喜欢把很多程序一一打开,不使用的程序也不及时关闭.这样由于运行的程序越来越多出现突然卡死的情况,不管你点击鼠标还是键盘,都没有任何反应,***后大多数人都选择重启电脑. ...

  4. Linux拷贝数据死机了,Linux系统“死机”时怎么办?

    如果问题能够再现,那么问题已经解决 80% 了.对于操作系统核心而言,如果有问题的再现方法,那么可以说是已经解决 99% 了.经常遇到的问题是系统可以正常运行一段时间,然后死机.如果不好再现问题,那么 ...

  5. 如何完美解决Sqoop导入导出MySQL数据错位问题

    我发现小伙伴们在使用Sqoop把数据从MySQL导入到Hive的过程中经常会遇到数据错位的问题,虽然最后都是通过添加参数的方法来解决这个问题,但是我认为这并不是一个完美的解决方案,所以花了一点时间研究 ...

  6. datax 导入数据中文乱码_浅谈数据同步之道

    数据同步,顾名思义就是不同系统的数据进行同步处理.而业务系统所涉及的数据库同步是重中之重,虽然大部分数据库都提供了导入导出的工具,但是数据存储到各个地方,Hive.Hbase.MySQL.Oracle ...

  7. 【5种灵活有效方式】如何从死机手机中恢复内部数据?

    我的手机掉在地上,现在无法开机.我丢失了所有联系人.图片和重要文件.无奈之下,我需要恢复数据.但是如何从死机中恢复内部数据呢? 我们使用移动设备的最重要原因之一是打电话和发送消息.但有时,我们使用相同 ...

  8. Android 系统(126)---Android的死机、重启问题分析方法

    Android的死机.重启问题分析方法 阅读数:11986 Android的死机.重启问题分析方法 1.     死机现象 1.1      死机定义 当手机长时间无法再被用户控制操作时,我们称为死机 ...

  9. 数据同步工具Sqoop

    大数据Hadoop之--数据同步工具Sqoop Sqoop基本原理及常用方法 1 概述 Apache Sqoop(SQL-to-Hadoop)项目旨在协助RDBMS(Relational Databa ...

最新文章

  1. luogu P3306 [SDOI2013] 随机数生成器(BSGS,数列求通项,毒瘤特判)
  2. R假设检验之莫德中位数检验(Mood‘s Median Test)
  3. C#验证:正则表达式 验证类和界面处理(手机号码,邮箱,IP地址)
  4. python程序员招聘信息-IT行业程序员招聘分析
  5. 华为的鸿蒙系统是海思_死心了!华为鸿蒙系统首款终端确认,不是手机
  6. 【树莓派】最常用的树莓派 Linux 命令及说明
  7. UITableView使用总结和性能优化
  8. python中对象和类的关系_Python面向对象之类与类之间的关系
  9. Unity3D基础10:利用Transform组件移动物体
  10. sql limit 子句_SQL按子句排序
  11. Silverlight DataGrid 在显示数据, 如果遇到全角的符号, 好像会出错. 待测试.
  12. jquery 操作select
  13. pytorch如何用自己训练好的模型预测新的图片类型?
  14. 《增长黑客》节选与笔记
  15. OpenCV测试摄像头帧率
  16. MATLAB 计算点到直线的距离
  17. Liang-Barskey裁剪算法(计算机图形学)
  18. iPone强制关机 小技巧
  19. 【转】【Coursera公开课】Applying to U.S. Universities(如何申请美国大学)笔记
  20. 【解决U盘无法访问】

热门文章

  1. 如何使用原生的 JavaScript 代码,触发 SAP UI5 按钮控件的点击事件处理函数
  2. TypeScript里的中括号类型定义法
  3. StackBlitz里无法重命名项目的问题
  4. 历史上的今天:编程语言中null引用的十亿美元错误
  5. SAP WebClient UI component模型元数据解析工具
  6. SAP Netweaver后台作业的几种状态
  7. SAP OData服务的catalog service
  8. SAP官方到底提供了免费的S4HANA试用版没有?
  9. filter my task = true implementation logic
  10. repeated call of attachBrowserEvent