Python:数据提取之JSON与JsonPATH
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景,比如网站前台与后台之间的数据交互。
JSON和XML的比较可谓不相上下。
Python 2.7中自带了JSON模块,直接import json
就可以使用了。
官方文档:http://docs.python.org/library/json.html
Json在线解析网站:http://www.json.cn/#
JSON
json简单说就是javascript中的对象和数组,所以这两种结构就是对象和数组两种结构,通过这两种结构可以表示各种复杂的结构
对象:对象在js中表示为
{ }
括起来的内容,数据结构为{ key:value, key:value, ... }
的键值对的结构,在面向对象的语言中,key为对象的属性,value为对应的属性值,所以很容易理解,取值方法为 对象.key 获取属性值,这个属性值的类型可以是数字、字符串、数组、对象这几种。数组:数组在js中是中括号
[ ]
括起来的内容,数据结构为["Python", "javascript", "C++", ...]
,取值方式和所有语言中一样,使用索引获取,字段值的类型可以是 数字、字符串、数组、对象几种。
import json
json模块提供了四个功能:dumps
、dump
、loads
、load
,用于字符串 和 python数据类型间进行转换。
1. json.loads()
把Json格式字符串解码转换成Python对象 从json到python的类型转化对照如下:
# json_loads.pyimport jsonstrList = '[1, 2, 3, 4]'strDict = '{"city": "北京", "name": "大猫"}'json.loads(strList)
# [1, 2, 3, 4]json.loads(strDict) # json数据自动按Unicode存储
# {u'city': u'\u5317\u4eac', u'name': u'\u5927\u732b'}
2. json.dumps()
实现python类型转化为json字符串,返回一个str对象 把一个Python对象编码转换成Json字符串
从python原始类型向json类型的转化对照如下:
# json_dumps.pyimport json
import chardetlistStr = [1, 2, 3, 4]
tupleStr = (1, 2, 3, 4)
dictStr = {"city": "北京", "name": "大猫"}json.dumps(listStr)
# '[1, 2, 3, 4]'
json.dumps(tupleStr)
# '[1, 2, 3, 4]'# 注意:json.dumps() 序列化时默认使用的ascii编码
# 添加参数 ensure_ascii=False 禁用ascii编码,按utf-8编码
# chardet.detect()返回字典, 其中confidence是检测精确度json.dumps(dictStr)
# '{"city": "\\u5317\\u4eac", "name": "\\u5927\\u5218"}'chardet.detect(json.dumps(dictStr))
# {'confidence': 1.0, 'encoding': 'ascii'}print json.dumps(dictStr, ensure_ascii=False)
# {"city": "北京", "name": "大刘"}chardet.detect(json.dumps(dictStr, ensure_ascii=False))
# {'confidence': 0.99, 'encoding': 'utf-8'}
chardet是一个非常优秀的编码识别模块,可通过pip安装
3. json.dump()
将Python内置类型序列化为json对象后写入文件
# json_dump.pyimport jsonlistStr = [{"city": "北京"}, {"name": "大刘"}]
json.dump(listStr, open("listStr.json","w"), ensure_ascii=False)dictStr = {"city": "北京", "name": "大刘"}
json.dump(dictStr, open("dictStr.json","w"), ensure_ascii=False)
4. json.load()
读取文件中json形式的字符串元素 转化成python类型
# json_load.pyimport jsonstrList = json.load(open("listStr.json"))
print strList# [{u'city': u'\u5317\u4eac'}, {u'name': u'\u5927\u5218'}]strDict = json.load(open("dictStr.json"))
print strDict
# {u'city': u'\u5317\u4eac', u'name': u'\u5927\u5218'}
JsonPath
JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具,提供多种语言实现版本,包括:Javascript, Python, PHP 和 Java。
JsonPath 对于 JSON 来说,相当于 XPATH 对于 XML。
下载地址:https://pypi.python.org/pypi/jsonpath
安装方法:点击
Download URL
链接下载jsonpath,解压之后执行python setup.py install
官方文档:http://goessner.net/articles/JsonPath
JsonPath与XPath语法对比:
Json结构清晰,可读性高,复杂度低,非常容易匹配,下表中对应了XPath的用法。
XPath | JSONPath | 描述 |
---|---|---|
/
|
$
|
根节点 |
.
|
@
|
现行节点 |
/
|
. or[]
|
取子节点 |
..
|
n/a | 取父节点,Jsonpath未支持 |
//
|
..
|
就是不管位置,选择所有符合条件的条件 |
*
|
*
|
匹配所有元素节点 |
@
|
n/a | 根据属性访问,Json不支持,因为Json是个Key-value递归结构,不需要。 |
[]
|
[]
|
迭代器标示(可以在里边做简单的迭代操作,如数组下标,根据内容选值等) |
| |
[,]
|
支持迭代器中做多选。 |
[]
|
?()
|
支持过滤操作. |
n/a |
()
|
支持表达式计算 |
()
|
n/a | 分组,JsonPath不支持 |
示例:
我们以拉勾网城市JSON文件 http://www.lagou.com/lbs/getAllCitySearchLabels.json 为例,获取所有城市。
# jsonpath_lagou.pyimport urllib2
import jsonpath
import json
import chardeturl = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'
request =urllib2.Request(url)
response = urllib2.urlopen(request)
html = response.read()# 把json格式字符串转换成python对象
jsonobj = json.loads(html)# 从根节点开始,匹配name节点
citylist = jsonpath.jsonpath(jsonobj,'$..name')print citylist
print type(citylist)
fp = open('city.json','w')content = json.dumps(citylist, ensure_ascii=False)
print contentfp.write(content.encode('utf-8'))
fp.close()
注意事项:
json.loads() 是把 Json格式字符串解码转换成Python对象,如果在json.loads的时候出错,要注意被解码的Json字符的编码。
如果传入的字符串的编码不是UTF-8的话,需要指定字符编码的参数 encoding
dataDict = json.loads(jsonStrGBK);
dataJsonStr是JSON字符串,假设其编码本身是非UTF-8的话而是GBK 的,那么上述代码会导致出错,改为对应的:
dataDict = json.loads(jsonStrGBK, encoding="GBK");
如果 dataJsonStr通过encoding指定了合适的编码,但是其中又包含了其他编码的字符,则需要先去将dataJsonStr转换为Unicode,然后再指定编码格式调用json.loads()
``` python
dataJsonStrUni = dataJsonStr.decode("GB2312"); dataDict = json.loads(dataJsonStrUni, encoding="GB2312");
##字符串编码转换这是中国程序员最苦逼的地方,什么乱码之类的几乎都是由汉字引起的。
其实编码问题很好搞定,只要记住一点:####任何平台的任何编码 都能和 Unicode 互相转换UTF-8 与 GBK 互相转换,那就先把UTF-8转换成Unicode,再从Unicode转换成GBK,反之同理。``` python
# 这是一个 UTF-8 编码的字符串
utf8Str = "你好地球"# 1. 将 UTF-8 编码的字符串 转换成 Unicode 编码
unicodeStr = utf8Str.decode("UTF-8")# 2. 再将 Unicode 编码格式字符串 转换成 GBK 编码
gbkData = unicodeStr.encode("GBK")# 1. 再将 GBK 编码格式字符串 转化成 Unicode
unicodeStr = gbkData.decode("gbk")# 2. 再将 Unicode 编码格式字符串转换成 UTF-8
utf8Str = unicodeStr.encode("UTF-8")
decode
的作用是将其他编码的字符串转换成 Unicode 编码
encode
的作用是将 Unicode 编码转换成其他编码的字符串
一句话:UTF-8是对Unicode字符集进行编码的一种编码方式
Python:数据提取之JSON与JsonPATH相关推荐
- 网络爬虫--13.数据提取之JSON与JsonPATH
文章目录 一. 前言 二. JSON 三. json.loads() 四. json.dumps() 五. json.dump() 六. json.load() 七. JsonPath 八. Json ...
- 数据提取之JSON与JsonPATH
点击上方"IT共享之家",进行关注 回复"资料"可获赠Python学习福利 今 日 鸡 汤 蜡烛有心还惜别,替人垂泪到天明. 背景介绍 我们知道再爬虫的过程中我 ...
- Python数据提取-lxml模块
更多python教程请到友情连接: 菜鸟教程https://www.piaodoo.com 初中毕业读什么技校 http://cntkd.net 茂名一技http://www.enechn.com p ...
- 当你学会这项python数据提取神器时,请做好升职准备!
Jsonpath 详解 一.什么是 jsonpath ● JsonPath 是一种信息抽取类库,是从 JSON 文档中抽取指定信息的工具,提供多种语言实现版本,包括:JavaScript.Python ...
- 数据提取(JSON)
文章目录 介绍 寻找json资源 数据类型转换 正则表达式 一般字符:"." " \ " " [...] " 预定义字符集 数量词 介绍 ! ...
- Python——数据存储:JSON操作
JSON格式的数据格式广泛使用在各种应用中,比XML格式更轻量级,所以现在很多应用都选择JSON格式保存数据,尤其是需要通过网络传输(如socket传输)数据时,这对于移动应用更具有优势.JSON格式 ...
- python数据提取和合并_用Python提取和合并Excel数据
我有一个Excel(.xlsx)文件,大约有40个工作表.每个工作表具有相同的结构,但包含不同的数据.我想从每张表格中提取信息,并将其合并到一张表格中,每张表格中的信息一张叠一张地叠在一起.我需要从每 ...
- python数据提取txt到excel
季秋廿九: 哦,第一层文件夹包含第二层很多文件夹ZK1-18,第二层的文件夹ZK1-18又包含第三层文件夹100-2等很多文件夹,第三层文件夹里面有很多后缀为 TXT的文件,现在有一个需求是将TXT文 ...
- python数据可视化之json格式数据处理案例:世界人口地图
数据来源: 部分数据截图: 代码: import json from country_codes import get_country_code import pygal from pygal_map ...
最新文章
- “男儿有泪不轻弹”和“活着”
- [译]星际争霸人工智能比赛——规则
- CentOS LVS安装配置
- web-使用wsgiref模块模拟web框架
- LeetCode:62. 不同路径(python、c++)
- php提交form表单提交方式,php form表单的提交
- 数学建模算法体系分类
- Snagit 2020 for mac(最好用的屏幕截图软件)
- python如何运行整个项目_如何运行django项目
- 桌面麒麟系统添加字体
- FBReader工程结构解析
- linux挂镜像文件作用是什么,linux下挂载iso镜像文件,linux挂载iso镜像文件
- 天创速盈:拼多多推广效果不好,哪里需要改善?
- ZOJ1516HDU1507(二分图匹配)
- NO.83 常用二维码对比(QR、PDF417、DM、汉信码)
- 扔垃圾前得先“刷脸”?北京这个小区垃圾分类真的用上了“人脸识别”!
- CodeForces - 1139C Edgy Trees (快速幂+dfs)
- 谷歌翻译无法使用/翻译页面无法使用/右键翻译成中文无法使用问题解决方法。
- Dell Inspiron 15R - QQ语音时麦克风没有声音的设置办法
- pro缺点和不足 一加7t_一加7T与OPPO Reno Ace 各有优势与缺点