Spark读取日志中文乱码解决方法

问题展示

��

一般来说,这个问题多出现于GBK与UTF-8编码互相转换时。众所周知，GBK编码是windows系统的编码格式,而UTF-8是linux系统的编码格式,而且Git等开源软件也都使用UTF-8编码,所以简单了解这种编码问题就是一件十分必要的事情。

乱码切入

“��”

“锟斤拷”

"手持两把锟斤拷,口中疾呼烫烫烫,脚踏千朵屯屯屯,笑看万物锘锘锘”

先来段梗，娱乐一下，给出百科的解释，给各位科普一下
这里先分析下乱码原因，因为spark没有自己读取文件的方式所以它采用了hadoop的默认读取文件方式，一般日志文件的格式是GBK编码的，而hadoop上的编码格式默认使用UTF-8，导致最终输出乱码。

所以要正常读取文件集，需要制定编码格式是GBK的，下面通过一个案例来表示直接读取和指定方式读取的结果差别。

直接使用spark的textfile读取

SparkConf conf = new SparkConf().setAppName("first").setMaster("local");
JavaRDD<String> distFile = sc.textFile("data.txt");

由于textFile函数只能固定使用UTF-8编码格式读取文件，然后读到的结果在终端中展示为 “��”或者就是 “锟斤拷”这个样子 ,这也是“手持两把锟斤拷,口中疾呼烫烫烫;脚踏千朵屯屯屯,笑看万物锘锘锘” 这个编码梗的由来。

解决问题

既然使用大数据计算框架遇到问题,就应该用大数据本身的框架来解决问题

先调用 hadoopFile()来读取文件,然后将读到的RDD map(映射)成一个使用GBK编码新生成的字符串传导出去，调用map(p -> new String(p._2.getBytes(), 0, p._2.getLength(), “GBK”)),即可解决问题。

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.hadoop.io.LongWritable
import org.apache.hadoop.io.Text
import org.apache.hadoop.mapred.TextInputFormat
import org.apache.spark.rdd.RDD
//文件存放目录
val input = "./input"
val conf = new SparkConf
val context = new SparkContext(conf)
val outputRdd = context.hadoopFile(input, classOf[TextInputFormat],classOf[LongWritable], classOf[Text]).map(pair => new String(pair._2.getBytes, 0, pair._2.getLength, "GBK"))

了解更多知识请戳下：

@Author:懒羊羊

Spark读取日志文件集中文乱码解决方法相关推荐

python打包出现乱码_python解压zip包中文乱码解决方法
乱码得原因: 由于ZipFile模块导出遇到中文解码不对,windows上会出现,linux是否会出现不知道没测试过. 解决方式: 1. 搞个文件名引射表(不太方便,少量文件夹套用时候还可以) 2. ...
vs code中文乱码解决方法
修改 1.(安装方法) 2.显示终端输入数据输出结果(完美解决) 3.修改部分:中文乱码解决方法第一步: 第二步: 1.(安装方法) 转载于: https:blog.csdn.net/qq_4304 ...
Ubuntu10.04下gFtp2.0.19 远程客户端中文乱码解决方法
Ubuntu10.04下gFtp2.0.19 远程客户端中文乱码解决方法如下: 1.打开"gFTP-FTP-属性-常规-远程字符集": 2.将远程字符集设置为:gb2312,gbk ...
python cmd 窗口中文乱码解决方法（附：打印不同颜色）
python cmd 窗口中文乱码解决方法 (附:打印不同颜色) 参考文章: (1)python cmd 窗口中文乱码解决方法 (附:打印不同颜色) (2)https://www.cnblog ...
Sublime Text 3中文乱码解决方法以及安装包管理器方法
Sublime Text 3中文乱码解决方法以及安装包管理器方法参考文章: (1)Sublime Text 3中文乱码解决方法以及安装包管理器方法 (2)https://www.cnblogs.co ...
axios请求GBK页面中文乱码解决方法
axios请求GBK页面中文乱码解决方法参考文章: (1)axios请求GBK页面中文乱码解决方法 (2)https://www.cnblogs.com/bjhl/articles/10514038 ...
charles抓包工具的中文乱码解决方法
charles抓包工具的中文乱码解决方法参考文章: (1)charles抓包工具的中文乱码解决方法 (2)https://www.cnblogs.com/grimm/p/7494688.html 备 ...
jquery的ajax()函数传值中文乱码解决方法介绍
jquery的ajax()函数传值中文乱码解决方法介绍参考文章: (1)jquery的ajax()函数传值中文乱码解决方法介绍 (2)https://www.cnblogs.com/xuxiaosh ...
火狐浏览器中文乱码怎么办 Firefox中文乱码解决方法
核心提示:最近好多网友反映在使用火狐浏览器的时候,网页显示乱码的情况,这种问题通常是由于我们浏览器语言的设置有关系,下面小编就为大家分析下具体的解决办法,希望对大家有所帮助. 火狐浏览器中文乱码怎么办 ...

Spark读取日志文件集中文乱码解决方法

Spark读取日志中文乱码解决方法

问题展示

乱码切入

解决问题

Spark读取日志文件集中文乱码解决方法相关推荐

最新文章

热门文章