qpython能使用json吗l_[python] 详解Python在使用JSON时需要注意的编码问题

Python 中的字符编码

在 Python3 中, 字符在内存中是使用 Unicode 存储的, 常规的字符使用两个字节表示, 一些很生僻的字符就需要四个字节. 默认使用 Unicode 存储是什么意思呢, 那就是例子来解释一下, 在 Python Shell 中输入以下字符串 '\u4e2d\u6587', 观察其输出:

In [51]: '\u4e2d\u6587'

Out[51]: '中文'

输出的为中文两个字. 其实 \u4e2d 和 \u6587 分别表示中和文的 Unicode 编码(术语称为码点)的十六进制表示, 在 Python3 中以 \u 开头的字符串被解析为 Unicode 字符, 然后通过其十六进制码点解析出具体的字符, 所以中文的内存表示即为 \u4e2d\u6587.

2. 获取字符 Unicode 码点

标准库提供了 ord 函数输出一个字符的 Unicode 码点, 使用 chr 函数将码点转换成字符, 下面是示例:

In [54]: ord('中')

Out[54]: 20013

In [56]: chr(20013)

Out[56]: '中'

输出的码点是使用十进制表示的, 可以使用以下代码将整数格式化成十六进制字符串:

'{0:04x}'.format(20013)

使用 json.dumps

有了前面的铺垫, 就可以来说说 json.dumps 了. 下面以一个例子展开:

In [121]: json.dumps('中文', ensure_ascii=True)

Out[121]: '"\\u4e2d\\u6587"'

In [122]: json.dumps('中文', ensure_ascii=False)

Out[122]: '"中文"'

可以看到, 在 ensure_ascii 为 True 的情况下, 中文被编码成了 Unicode 码, 为 False 才能正常显示, 但是这跟 ASCII 有什么关系呢? 来看一下官方文档对这个参数的解释:

如果 ensure_ascii 是 true (即默认值)，输出保证将所有输入的非 ASCII 字符转义。如果 ensure_ascii 是 false，这些字符会原样输出。

现在稍微明白了, 在 ensure_ascii 为 True 的情况下, 如果字符串中存在非ASCII 字符就将其转义, 根据结果可以知道这个字符被转义为 Unicode 码并格式化成了一个字符串, 注意 "\\u4e2d\\u6587" 与 "\u4e2d\\u6587" 是不同的, 前者是长度为 12 的字符串, 后者会被 Python 直接解析为中文, 长度为 2. 这也就是我一开始出现的问题, 直接将转义的字符串在网络上传输可能会无法被识别. 比如中文被转义成 \\u4e2d\\u6587, 而服务器如果不知道它是被转义过的字符串, 那它就是一个长度为 12 的普通字符串, 肯定会识别出错. 而将 ensure_ascii 设为 False 就不会进行转义, 使用原始字符.

识别转义字符

如果服务器收到数据后发现是被转化过的, 那怎么识别呢? 其实被转义字符串与使用 unicode_escape 对字符串进行编码再使用 utf-8 进行解码的结果一致, 代码如下:

In [129]: msg

Out[129]: '中文'

In [130]: msg.encode('unicode_escape').decode('utf-8')

Out[130]: '\\u4e2d\\u6587'

所以识别只要反过来使用 utf-8 编码再使用 unicode_escape 解码就可以了.

转义是如何进行的

现在来看一下 json 到底是怎么对字符进行转义的. 在 json.dumps 源码中仔细调试的话会发现, 它调用的是 JSONEncoder.encode 方法, 而 encode 中的代码片段如下:

if self.ensure_ascii:

return encode_basestring_ascii(o)

else:

return encode_basestring(o)

它会根据 ensure_ascii 的值选择调用函数. 而 encode_basestring_ascii 的值是 (c_encode_basestring_ascii or py_encode_basestring_ascii), 也就是默认是用 C 实现的版本, 其次使用 Python 实现的版本, 既然有 Python 版本, 当然要看一下是怎么实现的, py_encode_basestring_ascii 可以直接使用 from json.encoder import py_encode_basestring_ascii 导入, 直接在其内部就可以调试. 下面是其源码:

def py_encode_basestring_ascii(s):

"""Return an ASCII-only JSON representation of a Python string"""

def replace(match):

s = match.group(0)

try:

return ESCAPE_DCT[s]

except KeyError:

n = ord(s) # 输出一个字符的 Unicode 码点

if n < 0x10000:

return '\\u{0:04x}'.format(n)

#return '\\u%04x' % (n,)

else:

# surrogate pair

n -= 0x10000

s1 = 0xd800 | ((n >> 10) & 0x3ff)

s2 = 0xdc00 | (n & 0x3ff)

return '\\u{0:04x}\\u{1:04x}'.format(s1, s2)

return '"' + ESCAPE_ASCII.sub(replace, s) + '"'

从最后的 return 可以看到它实际上是正则替换最后在前后添加双引号. ESCAPE_ASCII 的定义如下:

ESCAPE_ASCII = re.compile(r'([\\"]|[^\ -~])') # 匹配所有编码不在 40 ~ 176 的字符, 所以中文就会被匹配到,

其中 ([\\"] 用于匹配 \\ 和 ", 而 [^\ -~] 表示 \ -~ 取反(这里的反斜杠貌似是对空格进行转义, 我不是很理解, 不进行转义依旧可以匹配到), 在 ASCII 表里, 空格字符对应十进制是 40, ~ 是 176, 这是所有的可打印字符, 取反就是所有编码不在 40 ~ 176 的字符, 所以中文就会被匹配到,

对于匹配到的字符, 会传入回调函数 replace 做转义. replace 函数中的 ESCAPE_DCT 为:

ESCAPE_DCT = {

'\\': '\\\\',

'"': '\\"',

'\b': '\\b',

'\f': '\\f',

'\n': '\\n',

'\r': '\\r',

'\t': '\\t',

}

会对常用字符进行转义, 如果失败就获取它的 Unicode 码点, 然后判断是否为小于 0x10000 即是否为两字节字符(两字节最大为0xFFFF) , 如果是就格式化为 Unicode 码, 如果不是就使用四字节表示.

为什么json.dumps处理过后的中文就变成了\uXXXX呢？原因在这里py_encode_basestring_ascii