问题

我们再次回到jsonpath的问题，起初使用jsonpath-ng实现快速访问json对象节点。但jsonpath-ng的性能问题，导致这个方法实在是糟糕，无法使用，悲剧的是已经写了很多代码，再用全路径访问json工作量有点太大，有点进退两难。

回过头思考，起初我的目的，就是不必要写全路径访问json节点，通过jsonpath只需要写一个节点进行模糊匹配，实现节点访问。实际上该需求并不复杂，并没有用到jsonpath的复杂功能。能不能不用jsonpath，也能实现？

幸运的是方案是存在的，而且实现起来也很容易。python语言天生就支持json对象，不需要再进行对象的序列化，可以直接利用这个语言特性。

方案

节点对象获取

首先我们解决json节点获取问题。我们写下如下的代码：

def get_one_json_node(data: dict, field: str):

if isinstance(data, list):

for it in data:

ret = get_one_json_node(it, field)

if ret is not None:

return ret

if not isinstance(data, dict):

return None

if field in data.keys():

return data[field]

for it in data.keys():

ret = get_one_json_node(data[it], field)

if ret:

return ret

return None

测试代码：

class TestJsonGet:

js = {'a': 10, 'b': 20, 'c': {'e': 10, 'f': 'string'}, 'c1': {'e': {'f1': 30}, 'f': 'string'},

'c2': {'e': 10, 'f': 'string'}, 'z': [{'z1': 10}, {'z1': 20}]}

def test_get1(self):

assert 10 == get_one_json_node(self.js, 'a')

assert 10 == get_one_json_node(self.js, 'e')

def test_get2(self):

assert 10 == get_one_json_node(self.js, 'c.e')

通过pytest测试发现，test_get2测试失败。原因是有多个e节点，我们需要支持c.e的访问，于是再封装一个上层方法：

def get_json_node(data: dict, field: str):

node_path = field.split(".")

node = data

find = False

for it in node_path:

node = get_one_json_node(node, it)

if not node:

return None

else:

find = True

if find:

return node

else:

return None

测试代码：

class TestJsonGet:

js = {'a': 10, 'b': 20, 'c': {'e': 10, 'f': 'string'}, 'c1': {'e': {'f1': 30}, 'f': 'string'},

'c2': {'e': 10, 'f': 'string'}, 'z': [{'z1': 10}, {'z1': 20}]}

def test_get3(self):

assert 10 == get_json_node(self.js, 'a')

assert 10 == get_json_node(self.js, 'e')

assert 10 == get_json_node(self.js, 'c.e')

def test_get4(self):

assert 10 == get_json_node(self.js, 'z.z1')

这次pytest测试就全部通过了(实际上，我也测试了数组节点的访问。为了简单起见，匹配第一个节点时get就直接返回，无需返回所有匹配节点)。节点的get方法执行时间0.1ms左右，相比jsonpath-ng提升近百倍了，可以接受。测试结果如下：

pytest -s test/test_jsonhelper.py::TestJsonGet

======================================================= test session starts =======================================================

platform darwin -- Python 3.8.2, pytest-6.1.2, py-1.9.0, pluggy-0.13.1

rootdir: /Users/xxx/data/code/python

collected 4 items

test/test_jsonhelper.py ..func:{get_json_node} exec time is:{0.00317} ms

func:{get_json_node} exec time is:{0.08789} ms

func:{get_json_node} exec time is:{0.00195} ms

.func:{get_json_node} exec time is:{0.00317} ms

节点的写入

同理，对于json节点设置可以参考get方法，写两个函数，具体代码如下：

def set_one_json_node(data: dict, field: str, value):

if isinstance(data, list):

for it in data:

ret = set_one_json_node(it, field, value)

if ret is not None:

return ret

if not isinstance(data, dict):

return None

if field in data.keys():

data[field] = value

return data

for it in data.keys():

ret = set_one_json_node(data[it], field, value)

if ret:

return ret

return None

def set_json_node(data: dict, field: str, value):

pos = field.find('.')

if pos != -1:

parent = field[0:pos]

node = get_json_node(data, parent)

if node is None:

return None

else:

return set_one_json_node(node, field[pos + 1:], value)

else:

return set_one_json_node(data, field, value)

测试代码如下：

class TestJsonSet:

js = {'a': 10, 'b': 20, 'c': {'e': 10, 'f': 'string'}, 'c1': {'e': {'f1': 30}, 'f': 'string'},

'c2': {'e': 10, 'f': 'string'}, 'z': [{'z1': 10}, {'z1': 20}]}

def test_set1(self):

js = copy.deepcopy(self.js)

set_one_json_node(js, 'a', 20)

set_one_json_node(js, 'e', 30)

assert 20 == get_one_json_node(js, 'a')

assert 30 == get_one_json_node(js, 'e')

def test_set2(self):

js = copy.deepcopy(self.js)

set_one_json_node(js, 'c.e', 20)

assert None == get_one_json_node(self.js, 'c.e')

def test_set3(self):

js = copy.deepcopy(self.js)

set_json_node(js, 'a', 20)

set_json_node(js, 'e', 30)

assert 20 == get_json_node(js, 'a')

assert 30 == get_json_node(js, 'e')

set_json_node(js, 'c.e', 40)

assert 40 == get_json_node(js, 'c.e')

def test_set4(self):

js = copy.deepcopy(self.js)

set_json_node(js, 'z.z1', 100)

assert 100 == get_json_node(js, 'z.z1')

pytest测试，set方法的执行时间和get方法执行时间类似，没有出现大的变动，相比jsonpath-ng也有巨大的提升，能够满足要求。运行结果如下：

pytest -s test/test_jsonhelper.py::TestJsonSet

======================================================= test session starts =======================================================

platform darwin -- Python 3.8.2, pytest-6.1.2, py-1.9.0, pluggy-0.13.1

rootdir: /Users/xxx/data/code/python

collected 4 items

test/test_jsonhelper.py func:{test_set1} exec time is:{0.03638} ms

..func:{set_json_node} exec time is:{0.00293} ms

func:{set_json_node} exec time is:{0.00293} ms

func:{get_json_node} exec time is:{0.00195} ms

func:{get_json_node} exec time is:{0.00195} ms

func:{get_json_node} exec time is:{0.00098} ms

func:{set_json_node} exec time is:{0.00513} ms

func:{get_json_node} exec time is:{0.00098} ms

.func:{get_json_node} exec time is:{0.00195} ms

func:{set_json_node} exec time is:{0.01514} ms

func:{get_json_node} exec time is:{0.02588} ms

讨论

我们简单实现了json访问的get和set方法，性能得到比较好的提升，对于频繁访问json对象，可以不使用jsonpath-ng，直接使用上面的方法，从而规避jsonpath-ng的性能问题。

有的时候，对于自身的需求，一定要多思考，也许存在一种简单的方法，就能解决。不一定杀鸡得用牛刀，而且可能是一把生锈的牛刀，盲目使用第三方库，可能会走不少弯路。

结合之前的总结，完善JsonHelper类型，这样就可以使用了(当然代码的健壮性，还有不少工作，依据实际需求，大家有兴趣自行完善即可)。辅助类型JsonHelper代码如下：

class JsonHelper:

def __init__(self, buffer: dict):

self.__dict__['_buffer'] = buffer

def get(self, field: str):

ret = self.__get_json_node(self.__dict__['_buffer'], field)

if not ret:

raise Exception("field:{} is not exist".format(field))

else:

return ret

def set(self, field: str, value):

ret = self.__set_json_node(self.__dict__['_buffer'], field, value)

if ret is None:

raise Exception("field:{} is not exist".format(field))

return self

def __get_one_json_node(self, data: dict, field: str):

if isinstance(data, list):

for it in data:

ret = self.__get_one_json_node(it, field)

if ret is not None:

return ret

if not isinstance(data, dict):

return None

if field in data.keys():

return data[field]

for it in data.keys():

ret = self.__get_one_json_node(data[it], field)

if ret:

return ret

return None

def __get_json_node(self, data: dict, field: str):

node_path = field.split(".")

node = data

find = False

for it in node_path:

node = self.__get_one_json_node(node, it)

if not node:

return None

else:

find = True

if find:

return node

else:

return None

def __set_one_json_node(self, data: dict, field: str, value):

if isinstance(data, list):

for it in data:

ret = self.__set_one_json_node(it, field, value)

if ret is not None:

return ret

if not isinstance(data, dict):

return None

if field in data.keys():

data[field] = value

return data

for it in data.keys():

ret = self.__set_one_json_node(data[it], field, value)

if ret:

return ret

return None

def __set_json_node(self, data: dict, field: str, value):

pos = field.find('.')

if pos != -1:

parent = field[0:pos]

node = self.__get_json_node(data, parent)

if node is None:

return None

else:

return self.__set_one_json_node(node, field[pos + 1:], value)

else:

return self.__set_one_json_node(data, field, value)