Json简介
Json(JavaScript Object Notation)

很多网站都会用到Json格式来进行数据的传输和交换,就像上篇我提到的网易云音乐接口,它们返回的数据都是Json格式的。

这因为Json是一种轻量级的数据交换格式,具有数据格式简单,读写方便易懂等很多优点。用它来进行前后端的数据传输,大大的简化了服务器和客户端的开发工作量。

而且相对于XML来说,更加的轻量级,更方便解析。

今天我们讲讲如何在python里玩转Json数据?

在Json中,遵循“key-value”的这样一种方式。

比如最简单的这种:“{"name" : "zhuxiao5"}”,跟python 里的字典似的,也是一个Json格式的数据。

复杂一点的比如这种(后文会多次使用到这个例子):

{"animals": {"dog": [{"name": "Rufus","age":15},{"name": "Marty","age": null}]}
}

以上图为例,再多说几句Json格式的特点

  • 对象通过键值对表现;
  • 键通过双引号包裹,后面跟冒号“:”,然后跟该键的值;
  • 值可以是字符串、数字、数组等数据类型;
  • 对象与对象之间用逗号隔开;
  • “{}”用来表达对象;
  • “[]”用来表达数组;

Python中的Json模块

Python中也自带了Json模块,其中json.dumps()、json.loads()较为常用。

json.dumps() 是将 python 对象转化为 json。

json.loads() 是将 json 转化为 python 对象。

#json.dumps(),json.loads()
import json
dict_data = {"a": 1, "b": 2}
# 将dict格式数据转换成json格式字符串
dump_data = json.dumps(dict_data)
# 将json格式字符串转换成对应的python值
load_data = json.loads(dump_data)
# 打印转换结果
print(type(dict_data),dict_data)
print(type(dump_data),dump_data)
print(type(load_data),load_data)

运行结果:

<class 'dict'> {'a': 1, 'b': 2}
<class 'str'>   {"a": 1, "b": 2}
<class 'dict'> {'a': 1, 'b': 2}

在例子中一开始的变量 dict_data 是一个字典,json.dumps() 后,将dict格式数据转换成json格式字符串。这时候虽然都是{'a': 1, 'b': 2},但是格式却前后不一样。随后又通过 json.loads(),重新将json格式字符串转换成字典。

在线解析Json

在实际应用中,要提取json数据,就要了解返回json数据的结构。

可是Json格式的数据往往是这样的。

大家别担心,我们可以将数据复制到一些json插件或在线解析!

比如这个插件是小五常用的:

此时再打开刚才的网址

是不是清晰了很多呢?

如果用python来获取里面的数据怎么做的?

先利用 json.loads() 来将 Json 转成字典,再用 get() 函数直到得到我们想要的list 对象,那么对于 list 里面的数据我们用个 for 循环就行啦~

额,有点绕。

还是文章一开始的例子,我们想获取其中所有狗狗的名字:

{"animals": {"dog": [{"name": "Rufus","age":15},{"name": "Marty","age": null}]}
}

我们可以这样做:

load_data = json.loads(dump_data)
data = load_data.get("animals").get("dog")
result1 = []
for i in data:result1.append(i.get("name"))
print(result1)

运行结果:

['Rufus', 'Marty']

这样确实可以获得我们想要的结果。

PS:类似的在线解析网站也有很多,比如 https://www.json.cn。

JsonPath

不知道大家还记不记得,在一开始介绍Json时,我提到了它相对于XML来说,更加的轻量级,更方便解析。

既然 XML 人家都有 XPATH ,那么Json有没有类似的工具呢?

JsonPath 是一种信息抽取类库,是从Json文档中抽取指定信息的工具。

JsonPath 对于 Json 来说,相当于 XPATH 对于 XML。

Json结构清晰,可读性高,复杂度低,非常容易匹配,下表是JsonPath的用法。

没错,还是这个例子,我们这次尝试用JsonPath获取其中所有狗狗的名字:

{"animals": {"dog": [{"name": "Rufus","age":15},{"name": "Marty","age": null}]}
}

我们可以这样做:

load_data = json.loads(dump_data)
jobs=load_data['animals']['dog']
result2 = []
for i in data:
# 从根节点开始,匹配name节点result2.append(jsonpath.jsonpath(i,'$..name')[0])
print(result2)

其中 $..name 代表从根节点开始,匹配name节点

运行结果:

['Rufus', 'Marty']

利用 JsonPath 同样可以获得我们想要的结果。

我们在后续实例演练中将继续采用 JsonPath 来抽取数据。

实例演练

示例:我们利用网易云音乐评论API来生成Json数据,并从中获取热评数据。

http://music.163.com/api/v1/resource/comments/R_SO_4_483671599?limit=10&offset=0

在浏览器(已安装Json解析插件)中打开:

标红区域的数据是我们本次想要获取的。

def get_comments(url):data = []doc = get_json(url)jobs=doc['hotComments']for job in jobs:dic = {}#从根节点开始,匹配content节点dic['content']=jsonpath.jsonpath(job,'$..content')[0] #评论dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0]) #时间dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0]  #用户IDdic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0] #赞数data.append(dic)return pd.DataFrame(data)final_result = get_comments('http://music.163.com/api/v1/resource/comments/R_SO_4_483671599?limit=10&offset=0')

(完整代码可后台回复“json”)

运行结果:

成功获取√

希望本文能让大家以后玩转Json数据更轻松~

作者:朱小五,某互联网公司数据分析师,热衷于爬虫,数据分析,可视化,个人公众号《凹凸数据》,带给大家有趣好玩的文章。

C# json解析字符串总是多出双引号_一篇长文带你在python里玩转Json数据相关推荐

  1. hutol json null值没了_一篇长文带你在python里玩转Json数据

    前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 朱小五/凹凸玩数据 PS:如有需要Python学习资料的小伙伴可以加 ...

  2. 一篇长文带你在python里玩转Json数据

    Json简介 Json(JavaScript Object Notation) 很多网站都会用到Json格式来进行数据的传输和交换. 这因为Json是一种轻量级的数据交换格式,具有数据格式简单,读写方 ...

  3. C# json解析字符串总是多出双引号_在JavaScript应用中将CSV转换为JSON

    来源:公众号<前端全栈开发者>(ID:by-zhangbing-dev) 将CSV转换为JSON是一项需要做很多工作的任务,在本文中,我将研究如何使用 csvtojson 模块将CSV转换 ...

  4. C# json解析字符串总是多出双引号_【c#资料】爬虫 Jumony-html 解析

    添加DLL IDE是Visual Studio 2013,我是在NugGet中搜索,并添加到项目中. 2. Jumony的常见用法 从网站获取html代码,将html字符串分析为标准的文档对象模型(D ...

  5. C# json解析字符串总是多出双引号_python小课堂25 - 你真的了解JSON嘛?

    python小课堂25 - 你真的了解JSON嘛? 前言 原谅我标题党了一波,哈哈哈哈!其实今天这篇文章算是题外番了,为什么这么说呢?因为JSON这个词,在当今的web环境下,作为一种最常使用的数据格 ...

  6. C# json解析字符串总是多出双引号_Python小白必备知识:Python字符串详解

    若干个字符的集合就是一个字符串(String).Python 中的字符串必须由双引号" "或者单引号' '包围,具体格式为: "字符串内容" '字符串内容' 字 ...

  7. C# json解析字符串总是多出双引号_json从立地到成佛

    本文原创作者bigsai(同公众号),本文以浅显易懂的方式给大家讲解自己所认知的json,如果有错误或者不准确地方还请大家给出指正,另外本文以关卡课程的方式在博学谷也是免费开放的,大家也可通过关卡方式 ...

  8. 解决特殊字符引起json解析错误--单引号、双引号转义

    解决特殊字符引起json解析错误–单引号.双引号转义 这几天在做一个题库管理,遇到了一个问题,将后台的json数据传到前台用parse解析时,出现了一个错误: Uncaught SyntaxError ...

  9. IntelliJ idea——》JSON字符串,自动转义双引号

    版权声明:本文为博主原创文章,无需授权即可转载,甚至无需保留以上版权声明,转载时请务必注明作者. https://blog.csdn.net/weixin_43453386/article/detai ...

最新文章

  1. python实现cc攻击_运维纪录:遭遇CC攻击,防御与查水表
  2. 苏勇老师写的CCIE详解
  3. 画出沪深300指数曲线
  4. nmap脚本使用总结
  5. 怎样用原生js配合css的transition写个无缝滚动
  6. Redis轻松实现秒杀系统
  7. centos下配置java环境变量
  8. 【识记】Nginx 访问控制
  9. 算法训练 Bus Tour
  10. 【树莓派】USB摄像头+python+opencv
  11. us、ms、s 单位转换,不会的都是大傻子!!!
  12. BEC剑桥英语高级真题4 Test 2-Part 2-High fliers of the future head for specialist fairs
  13. windows下网络诊断基本命令
  14. 计算器 android报告,bmi计算器android开放实验项目总结报告.pdf
  15. 在云计算大数据学习中心学习的第一天
  16. VCM 音圈电机 (马达)Voice Coil Motor
  17. null与empty区别
  18. 根据时间、所在地计算给定深空天体的方位角和高度;制定深空天体观测计划
  19. QP状态机的优势以及QM的使用
  20. 如何制作符号文件(.sig文件)

热门文章

  1. 列表、表格与媒体元素
  2. ASP.NET MVC5 + EF6 + BootStrap 实战系列教程
  3. ubuntu 用户管理 adduser vs useradd
  4. Filestream 使用简单步骤
  5. Thrift的安装和简单示例
  6. Facebook详解 涵盖发展历史和系统模型
  7. zabbix常见配置集合
  8. Ubuntu服务器宕机排查记录
  9. 超清晰的 DNS 原理入门指南 (资源)
  10. Eclipse,提交代码,版本比较时,不忽略空格