hive乱码彻底解决方案全记录

2024-04-22 10:27:01

hive乱码主要分为三种：

一种是hive cli查询乱码，但是在ambari端查看正常；
一种是导入汉字数据后，所有客户端方式查询都乱码；
一种是hive cli查询没有乱码，但是通过jdbc或者hiveserver2查询出现了乱码。

下面分别列出亲测可行的解决方案：

第一种：hive cli查询乱码，但是在ambari端查看正常

表现：在hive基础命令行下后查询时，中文出现乱码，但是ambari控制台界面显示正常。
原因：数据是正常的，但是使用hive命令行的ssh工具的编码问题
解决方案：把xshell，putty之类的远程终端的编码修改为UTF-8 ，然后重新连接即可。

第二种：导入包含汉字的文本数据后，hive查询出现乱码

表现：导入包含中文的文本数据后，使用hive cli及hiveserver2查询数据时，中文部分均出现乱码。
原因：编码不一致的问题，hive默认使用utf-8编码，导入的中文文本数据需要保证也是utf-8格式。
解决方案：首先在linux或者macos终端下，使用file 文件名查看文本编码格式是不是utf-8。如果不是就需要改为utf-8，修改文本编码格式有两种常用方式：

使用一些常用文本工具，比如editplus，notepad++ 打开这个包含中文的文件，并修改它的编码格式为utf-8，保存即可；
在linux或者macOS终端下，使用vim编辑器修改，首先vim 文件名打开文件，然后在控制台输入:set fileencoding=utf-8，然后:wq保存退出即可。

第三种：hive cli查询没有乱码，但是通过jdbc或者hiveserver2查询出现了乱码。

表现：导入utf-8格式的文本数据后，基础的hive cli查询没有乱码，presto查询hive也没有出现乱码，但是hiveserver2查询却出现了乱码。
原因：这是由于hive-env.sh里面没有配置编码格式，导致hiveserver2查询出中文后，输出的格式发生了变化，导致了乱码。
解决方案：首先在在hive-env.sh文件的最后加上编码格式：

export HADOOP_OPTS="$HADOOP_OPTS -Dfile.encoding=UTF-8"

然后重启hiveserver2

bin/hiveserver2 restart

最后连接hiveserver2测试即可

/bin/beeline -u jdbc:hive2://localhost:10000

hive乱码彻底解决方案全记录相关推荐

【win11】安装WIN11启用TPM2.0的华硕主板M10H使用英特尔CPU设置PTT解决方案全记录
TPM2.0 Win11安装的前提是必须启用TPM2.0,所以我们必须开启TPM2.0才可以安装Win11. 本机配置主板华硕ROG M10H CPU i7 8700K 设置BIOS 开机按F2进 ...
manjaro i3安装配置全记录
manjaro i3安装配置全记录安装准备安装踩坑记录硬盘安装过程系统配置准备设置中文系统安装必要配置美化桌面常用软件推荐安装研发环境(java方向手动安装) 安装准备 ma ...
Hive学习笔记【全】
Hive学习笔记[全] 文章目录 Hive学习笔记[全] 一.Hive简介 1.Hive是什么 2.Hive的架构 3.Hive的数据组织二.Hive安装 1.环境需求 2.安装Hive 3.启动H ...
在SQL 2005中用T-SQL插入中文数据时出现的问号或乱码的解决方案[转]
在SQL 2005中用T-SQL插入中文数据时出现的问号或乱码的解决方案病症表现为:主要表现为用T-sql语句插入中文数据时数据库显示全是问号"???" 解决办法: 第一种办法 ...
ubuntu下rar文件解压后文件名乱码的解决方案
在linux解压rar文件,通常使用的命令是 rar e a.rar 但是由于编码的缘故,在windows下打包的的中文文件,解压后时候乱码,提示为无效的编码格式,由于windows是gbk的编码格式 ...
Java中文乱码特殊字符解决方案
Java中文乱码&特殊字符解决方案相信很多朋友遇到过Java的乱码问题,最近我也在解决一个"使用文本生成图片过程中中文以及特殊字符乱码"的问题:花了我大量时间,Debug ...
vue在微信里面的兼容问题_详解Vue微信公众号开发踩坑全记录
本文介绍了Vue微信公众号开发踩坑全记录,分享给大家,也给自己留个笔记. 需求微信授权登录(基于公众号的登录方案) 接入JS-SDK实现图片上传,分享等功能现状及难点采用的Vue框架,前后端分 ...
java menuitem 图标_MenuItem 显示中文乱码问题解决方案
MenuItem 显示中文乱码问题解决方案今天在使用Java做系统托盘图标(TrayIcon),需要为其增加一个右键弹出菜单(PopupMenu),在使用菜单项(MenuItem)时,遇到了一个非常 ...
url传参中文出现乱码问题解决方案
记录url传参中文出现乱码问题解决方案第一步: 先通过自己方式获取到url整个地址路径(可以通过window.localtion去尝试找一下)路径变量暂定为 url 第二步: decodeURI ...

最新文章

热门文章