使用iconv命令转码（UTF8-GBK）数据异常

使用shell脚本导出MongoDB数据库数据时，会出现数据异常减少的情况，排查N久问题出在iconv命令转码这块！

iconv  -f utf8 -t gbk 1.csv >2csv

在这段UTF8->GBK转码过程中，会报错：

原因：GBK的字符编码没有涵盖文件中的字符(UTF-8)

解决：加上 -c 忽略错误字符信息

（ps：目前测试没有出现乱码的现象，导出也能正常进行）

也有这种写法：

iconv -c -f utf8 -t gbk1.csv >2.csv
iconv -f utf8//IGNORE -t gbk//IGNRON 1.csv >2.csv

不过第二种，貌似没成功。。。

使用iconv命令转码（UTF8-GBK）数据异常相关推荐

脚本中或者linux下使用iconv命令将utf_8和gbk以及gb2312的相互转换
1.转换gbk编码文件为utf-8编码文件 iconv -f gbk -t utf-8 aa.txt > aa.bak 其中-f指的是原始文件编码,-t是输出编码 aa.txtl是原始文件 aa ...
iconv命令utf-8文件转为gbk文件
iconv命令utf-8文件转为gbk文件 iconv -c -f UTF-8 -t GDK /filename > /filename
使用iconv命令批量原地转码文件
使用iconv命令批量原地转码文件文章目录使用iconv命令批量原地转码文件一.iconv简述二.iconv原地转码命令三.我工作中遇到的问题问题场景: 解决方案: 一.iconv简述 ...
Linux下iconv乱码转码命令
目录 1. 命令作用 2. 命令格式 3. 使用实例 1. 命令作用 iconv命令是用来转换文件的编码方式,比如它可以将UTF8编码的转换成GB18030的编码.Linux下的iconv开发库包括i ...
PTMs：QLoRA技巧之源码解读(qlora.py文件)—解析命令与加载参数→数据预处理→模型训练+评估+推理
PTMs:QLoRA技巧之源码解读(qlora.py文件)-解析命令与加载参数→数据预处理→模型训练+评估+推理目录 QLoRA技巧之源码解读(qlora.py文件)-解析命令与加载参数→数据预处理 ...
linux常用命令：iconv 命令（用于文件的编码转换），还可以用UE另存
https://www.cnblogs.com/shujuxiong/p/8990452.html iconv命令是linux下用于文件转编码的常用命令,对于同时使用windows系统和linux系统 ...
linux常用命令：iconv 命令
iconv命令是linux下用于文件转编码的常用命令,对于同时使用windows系统和linux系统的同学来说文件转编码也是经常遇到的操作. 1.命令格式: iconv [选项...] [文件...] ...
linux icon 字符转换工具,linux ICONV字符GB2312转换UTF8
#iconv -f GB2312 -t UTF-8 gb1.txt >gb2.txt 将gb1里的编码从GB2312转化成UTF-8 并重定向到gb2.txt 除了iconv命令,我们在lin ...
字符编码详解及由来(UNICODE,UTF-8,GBK)
字符编码详解及由来(UNICODE,UTF-8,GBK) 各种字符编码方式详解及由来(ANSI,UNICODE,UTF-8,GB2312,GBK) - 2009-01-29 09:53 一直对 ...
iconv命令的使用，解决libxml2中解释中文失败的问题
为什么80%的码农都做不了架构师?>>> iconv命令用于LINUX下语言编码格式转换,现在将我成功转换的例子写一下,用以记录: iconv -f "gb2312& ...

使用iconv命令转码（UTF8-GBK）数据异常

使用iconv命令转码（UTF8-GBK）数据异常相关推荐

最新文章

热门文章