背景：

工作上，不同部门经常需要共享文件，偶尔会出现打开文件出现的是一堆乱码，这时候很多人的第一反应是恐惧，认为是数据传输出现错误问题，要求发送方再重新传输一份。其实主要都是字符编码不一致的原因，只要了解字符编码原理，自己做好编码转化，一般都能快速恢复正常阅读。

目标：

了解字符编码

不再恐惧文件乱码

1 常见乱码现象

1.1 txt文件用UE打开是乱码

1.2 csv文件用打开Excel打开是乱码

1.3 命令行读取文件是乱码

2 常见字符编码类型

2.1 字符编码ANSI和ASCII区别、Unicode和UTF-8区别

这篇文章解释很清晰：字符编码ANSI和ASCII区别、Unicode和UTF-8区别

2.2 概括

总结起来就是，之所以有这么多编码，都是为了实现兼容和效率的平衡，兼容性越高的编码就需要牺牲越大的存储空间。

ASCII：最简单的编码，不能解析中文

ANSI：ASCII的扩展，可以解析中文，兼容差，效率高

Unicode：ANSI的扩展，兼容强，效率低

UTF8：Unicode的扩展，通用

2.3 常用工具打开文件的解析方式

最常用接触就是ANSI和UTF8两种编码

ANSI：Windows，DOS，记事本，UltraEdit，Excel，Oracle

UTF8：Linux，Hadoop，Python、记事本

其中记事本可以自动解析ANSI和UTF8。

如果我们在Windows打开文件出现乱码，一般都是因为文件是UTF8编码，用记事本打开就可以正常显示，把文件另存为ANSI编码，就可以用其他工具正常打开。

反过来，传到服务器端后台打开是乱码，一般是服务器默认解析UTF8编码，把文件转为UTF8编码就可以正常读取。

3 Windows转码

3.1 记事本转换

用记事本打开文件，另存为，编码，一般选ANSI或UTF-8。

3.2 CMD转换

调用PowerShell的get-content、set-content命令

PowerShell -Command "& {get-content test1.txt -encoding Default | set-content test2.txt -encoding UTF8}"

4 Linux转码

调用iconv命令，

iconv -c -f ansi -t utf-8 test1.txt > test2.txt

5 Python转码

5.1 解析文件

with open('test1.txt','r',encoding='ANSI') as f:

content_str=f.read()

5.2 将ANSI转为utf-8

with open('test2.txt','w',encoding='utf-8') as f:

f.write(content_str)

5.3 自动转码函数

#chardet.detect有自动判断文件的编码类型功能

import chardet

def convert(path,out_enc='utf-8'):

#解码

with open(path,'rb') as f:

content_bytes=f.read()

source_encoding=chardet.detect(content_bytes).get('encoding')

print(source_encoding)

#读取文本

with open(path,'r',encoding=source_encoding) as f:

content_str=f.read()

#保存文本

with open(path,'w',encoding=out_enc) as f:

f.write(content_str)

print(out_enc)