一篇长文带你在python里玩转Json数据
Json简介
Json(JavaScript Object Notation)
很多网站都会用到Json格式来进行数据的传输和交换。
这因为Json是一种轻量级的数据交换格式,具有数据格式简单,读写方便易懂等很多优点。用它来进行前后端的数据传输,大大的简化了服务器和客户端的开发工作量。
而且相对于XML来说,更加的轻量级,更方便解析。
今天我们讲讲如何在python里玩转Json数据?
在Json中,遵循“key-value”的这样一种方式。
比如最简单的这种:“{"name" : "zhuxiao5"}”,跟python 里的字典似的,也是一个Json格式的数据。
复杂一点的比如这种(后文会多次使用到这个例子):
{"animals": {"dog": [{"name": "Rufus","age":15},{"name": "Marty","age": null}]}
}
以上图为例,再多说几句Json格式的特点
对象通过键值对表现;
键通过双引号包裹,后面跟冒号“:”,然后跟该键的值;
值可以是字符串、数字、数组等数据类型;
对象与对象之间用逗号隔开;
“{}”用来表达对象;
“[]”用来表达数组;
Python中的Json模块
Python中也自带了Json模块,其中json.dumps()、json.loads()较为常用。
json.dumps() 是将 python 对象转化为 json。
json.loads() 是将 json 转化为 python 对象。
#json.dumps(),json.loads()
import json
dict_data = {"a": 1, "b": 2}
# 将dict格式数据转换成json格式字符串
dump_data = json.dumps(dict_data)
# 将json格式字符串转换成对应的python值
load_data = json.loads(dump_data)
# 打印转换结果
print(type(dict_data),dict_data)
print(type(dump_data),dump_data)
print(type(load_data),load_data)
运行结果:
<class 'dict'> {'a': 1, 'b': 2}
<class 'str'> {"a": 1, "b": 2}
<class 'dict'> {'a': 1, 'b': 2}
在例子中一开始的变量 dict_data 是一个字典,json.dumps() 后,将dict格式数据转换成json格式字符串。这时候虽然都是{'a': 1, 'b': 2},但是格式却前后不一样。随后又通过 json.loads(),重新将json格式字符串转换成字典。
在线解析Json
在实际应用中,要提取json数据,就要了解返回json数据的结构。
可是Json格式的数据往往是这样的。
大家别担心,我们可以将数据复制到一些json插件或在线解析!
比如这个插件是小五常用的:
此时再打开刚才的网址
是不是清晰了很多呢?
如果用python来获取里面的数据怎么做的?
先利用 json.loads() 来将 Json 转成字典,再用 get() 函数直到得到我们想要的list 对象,那么对于 list 里面的数据我们用个 for 循环就行啦~
额,有点绕。
还是文章一开始的例子,我们想获取其中所有狗狗的名字:
{"animals": {"dog": [{"name": "Rufus","age":15},{"name": "Marty","age": null}]}
}
我们可以这样做:
load_data = json.loads(dump_data)
data = load_data.get("animals").get("dog")
result1 = []
for i in data:result1.append(i.get("name"))
print(result1)
运行结果:
['Rufus', 'Marty']
这样确实可以获得我们想要的结果。
PS:类似的在线解析网站也有很多,比如 https://www.json.cn。
JsonPath
不知道大家还记不记得,在一开始介绍Json时,我提到了它相对于XML来说,更加的轻量级,更方便解析。
既然 XML 人家都有 XPATH ,那么Json有没有类似的工具呢?
JsonPath 是一种信息抽取类库,是从Json文档中抽取指定信息的工具。
JsonPath 对于 Json 来说,相当于 XPATH 对于 XML。
Json结构清晰,可读性高,复杂度低,非常容易匹配,下表是JsonPath的用法。
没错,还是这个例子,我们这次尝试用JsonPath获取其中所有狗狗的名字:
{"animals": {"dog": [{"name": "Rufus","age":15},{"name": "Marty","age": null}]}
}
我们可以这样做:
load_data = json.loads(dump_data)
jobs=load_data['animals']['dog']
result2 = []
for i in data:
# 从根节点开始,匹配name节点result2.append(jsonpath.jsonpath(i,'$..name')[0])
print(result2)
其中 $..name 代表从根节点开始,匹配name节点
运行结果:
['Rufus', 'Marty']
利用 JsonPath 同样可以获得我们想要的结果。
我们在后续实例演练中将继续采用 JsonPath 来抽取数据。
实例演练
示例:我们利用网易云音乐评论API来生成Json数据,并从中获取热评数据。
http://music.163.com/api/v1/resource/comments/R_SO_4_483671599?limit=10&offset=0
在浏览器(已安装Json解析插件)中打开:
标红区域的数据是我们本次想要获取的。
def get_comments(url):data = []doc = get_json(url)jobs=doc['hotComments']for job in jobs:dic = {}#从根节点开始,匹配content节点dic['content']=jsonpath.jsonpath(job,'$..content')[0] #评论dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0]) #时间dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0] #用户IDdic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0] #赞数data.append(dic)return pd.DataFrame(data)final_result = get_comments('http://music.163.com/api/v1/resource/comments/R_SO_4_483671599?limit=10&offset=0')
(完整代码见文末下载地址)
运行结果:
成功获取√
希望本文能让大家以后玩转Json数据更轻松~
本文所有案例的代码已上传github:
https://github.com/zpw1995/aotodata/tree/master/interest/Json
- END -
如果看到这里,说明你喜欢这篇文章,请转发、点赞。扫描下方二维码或者微信搜索「perfect_iscas」,添加好友后即可获得10套程序员全栈课程+1000套PPT和简历模板,向我私聊「进群」二字即可进入高质量交流群。
↓扫描二维码进群↓
喜欢文章,点个在看
一篇长文带你在python里玩转Json数据相关推荐
- hutol json null值没了_一篇长文带你在python里玩转Json数据
前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 朱小五/凹凸玩数据 PS:如有需要Python学习资料的小伙伴可以加 ...
- C# json解析字符串总是多出双引号_一篇长文带你在python里玩转Json数据
Json简介 Json(JavaScript Object Notation) 很多网站都会用到Json格式来进行数据的传输和交换,就像上篇我提到的网易云音乐接口,它们返回的数据都是Json格式的. ...
- python为什么closed_为什么Python无法解析此JSON数据? [关闭] - Why can't Python parse this JSON data? [closed]...
问题: I have this JSON in a file: 我在文件中有此JSON: { "maps": [ { "id": "blabla&qu ...
- Python爬虫笔记——解析json数据(以周杰伦歌单为例)及Headers
一.Network Network能够记录浏览器的所有请求.我们最常用的是:ALL(查看全部)/XHR(仅查看XHR)/Doc(Document,第0个请求一般在这里),有时候也会看看:Img(仅查看 ...
- python爬取网页json数据_python爬取json数据库
手把手教你使用Python抓取QQ音乐数据(第一弹) [一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二. ...
- 带id的市和区/县 json数据
市和区/县 json数据 [{"name":"山东省","id":"370000","child": ...
- python的jsonpath_python 提取json数据的jsonPath介绍及简单使用
为什么要用jsonpath 就跟为什么要用xpath一样,jsonpath的设计灵感来源于xpath.一个强大的json数据提取工具.让用户不用编写脚本就可以提取到相应的json数据. jsonpat ...
- python读写json_python 读写json数据
json 模块提供了一种很简单的方式来编码和解码JSON 数据. 字符串操作 其中两个主要的函数是json.dumps() 和json.loads() ,要比其他序列化函数库如pickle 的接口少得 ...
- 全栈python之路——三篇文章带你踏入python大门-基础02
列表.元组操作 字符串操作 字典操作 集合操作 文件操作 字符编码与转码 一.列表.元组操作 列表是我们最以后最常用的数据类型之一,通过列表可以对数据实现最方便的存储.修改等操作 定义列表 names ...
最新文章
- 通过data:image/png;base64把图片直接写在src里
- node2vec: Scalable Feature Learning for networks
- 数学中的向量乘积和矩阵乘积总结
- 如何用TypeScript开发微信小程序
- SharePoint 2013 开发——其他社交功能
- cad 打开硬件加速卡_CAD卡顿?电脑带不动?几个简单实用的方法,解决CAD运行卡顿问题...
- linux紧急救援模式,如何在 Ubuntu 18.04 中启动到救援模式或紧急模式
- 开源bot工具Rasa学习---1
- 初识dokuwiki
- 简易高重用的jdbcutils工具封装实现类以及简易连接池实现
- Ubuntu14.04+CUDA6.5+OpenCV2.4+Caffee配置
- 对数幅度谱图像matlab,fft2绘制图像的对数幅度谱,比较图像旋转平移和缩放后的频谱.doc...
- 能量,功率,能量谱和功率谱密度
- WebService--CXF与Spring的整合(jaxws:endpoint形式配置)以及客户端调用(spring配置文件形式,不需要生成客户端代码)
- 社招两年半10个公司28轮面试面经
- 高等数学强化3:一元函数积分学 P积分
- 王微:愤怒,是我创业初始的驱动力
- 如何比较两个数组/对象或数组对象是否相等
- Flask Web开发-1.2模板及网页设计基础
- 提升g++的编译速度的第一选择:ccache
热门文章
- 谁说技术男不适合养猫!90后程序员2天做出猫咪情绪识别软件
- 人工智能的下一个前沿:识别“零”和“无”
- 专注NLP,竹间智能完成4500万美元B+轮融资
- 阿里深度序列匹配模型SDM:如何刻画大型推荐系统的用户行为?
- 什么限制了GNN的能力?首篇探究GNN普适性与局限性的论文出炉!
- 用Python解锁“吃鸡”正确姿势
- 免费公开课报名 | 达观数据个性化推荐系统实践
- AI做不了“真”3D图像?试试Google的新生成模型
- 福利 | Python、深度学习、机器学习、TensorFlow 好书推荐
- 公司用的 MySQL 团队开发规范