python中的json结构_python数据挖掘_Json结构分析
json是一种轻量级的数据交换格式,也可以说是一种配置文件的格式
这种格式的文件是我们在数据处理经常会遇到的
python提供内置的模块json,只需要在使用前导入即可
你可以通过帮助函数查看json的帮助文档
json常用的方法有load、loads、dump以及dumps,这个都属于python初级,我不做过多解释
json可以结合数据库一起使用,在这以后要处理大量数据时非常有用
下面我们正式来利用数据挖掘对json文件进行处理
现在很多网站都运用了Ajax,所以一般很多都是XHR文件
通过
这里我想利用一个地图网站来演示
我们通过浏览器的调试获取了相关url
https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ
下面我们通过requests模块中的get方法,模拟浏览器发出的http请求,并返回的到的结果对象
代码如下
# coding=utf-8
__Author__ = "susmote"
import requests
url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"
resp = requests.get(url)
print(resp.text[0:200])
在终端中运行结果如下
数据已经获取到了,但是为了接下来能使用这些数据,我们需要利用json模块对这些数据进行分析
代码如下
import requests
import json
url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"
resp = requests.get(url)
json_dict = json.loads(resp.text)
print(type(json_dict))
print(json_dict.keys())
简单讲一下上面的代码:
导入json模块,然后调用loads方法,将返回的文本作为方法的参数传入
在终端中运行结果如下
可以看出,转换的结果是与json字符串对应的字典,因为type(json_dict)返回的是
因为对象是一个字典,所以我们可以调用字典的方法,在这里我们调用的就是keys方法
结果返回三个键,即status、searcOpt、data
下面我们来查看data键里面的数据
import requests
import json
url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"
resp = requests.get(url)
json_dict = json.loads(resp.text)
print(json_dict['data'])
下面在终端中运行这一段代码
可以看到里面有很多我们需要的数据,如
不一一标出,通过跟网页显示的相比较,就能清楚哪些是有用的了
下面我们通过代码获取有用的信息,把它清晰的输出
# coding=utf-8
__Author__ = "susmote"
import requests
import json
url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"
resp = requests.get(url)
json_dict = json.loads(resp.text)
data_dict = json_dict['data']
data_list = data_dict['poi_list']
dis_data = data_list[0]
print('城市: ', dis_data['cityname'])
print('名称: ', dis_data['name'])
print('电话: ', dis_data['tel'])
print('区号: ', dis_data['areacode'])
print('地址: ', dis_data['address'])
print('经度: ', dis_data['longitude'])
print('纬度: ', dis_data['latitude'])
因为返回的是一个字典,通过对文件结构的研究,字典中嵌套着列表,列表中又嵌套着字典,通过层层解套,成功获取数据
我这里把步骤分开列出了,所以你会看的更加清楚
下面我们通过终端运行程序,获取我们想要的信息
是不是非常简单了,这个程序可以作为一个模版,获取其他地方的信息时只需要改一个url即可
例如以下几个范例
北京大学
或者是腾讯大厦
数据挖掘是没有尽头的,希望大家多分析数据,找到你想要的数据
我的博客 www.susmote.com
python中的json结构_python数据挖掘_Json结构分析相关推荐
- python中的栈结构_Python可以实现栈的结构吗
栈(stack)又名堆栈,它是一种运算受限的线性表.在Python中可使用列表进行实现. 什么是栈? 栈(stack)又名堆栈,它是一种运算受限的线性表.其限制是仅允许在表的一端进行插入和删除运算.这 ...
- python中的json函数_python中装饰器、内置函数、json的详解
装饰器 装饰器本质上是一个Python函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外功能,装饰器的返回值也是一个函数对象. 先看简单例子: def run(): time.sleep(1 ...
- python中的栈结构_python中有栈吗
在英语词典中,堆(Stack)表示将对象放在另一个对象上. 在这个数据结构中分配内存的方式是一样的. 它以类似的方式存储数据元素,类似在厨房中一堆盘子:一个在另一个之上存放. 所以堆栈数据数据允许操作 ...
- python中table表结构_python中的简易表格prettytable
安装:pip install PrettyTable 普通表格 from prettytable import PrettyTable table = PrettyTable(['编号','云编号', ...
- 详解Python中的JSON以及在Python中使用JSON
首先什么是JSON? JSON(JavaScript Object Notation, JS 对象简谱,即JavaScript对象表示法) 是一种用于表示结构化数据的流行数据格式. 在服务器 ...
- Python中的JSON简介
您知道如何从在线API传输数据或将不同类型的数据存储到本地计算机吗?无论以何种方式,您都会沉浸在JSON中,JSON代表[Java Script Object Notation].它是一种著名的流行数 ...
- 在python中使用json格式存储数据
在python中使用json格式存储数据 代码如下: import jsonlist1 = [{'A': [1, 2, 3, 4, 5, 6], 'B': [3, 4, 5, 6, 7]},{'C': ...
- python中的JSON到底怎么用?
前言 最近在学习python爬虫,在对数据进行持久化存储的时候,会选择使用json格式的数据进行存储,由此就引发了一个问题,python中的JSON库到底咋用? 以前使用JavaScript中Json ...
- python使用循环结构计算10_十二、 python中的循环结构
我们要计算1+2+3的时候,可以直接写出来,但是计算1+2+3+···+100的时候,就不能写了.如果计算1到1亿的和,全写出来就有点不现实了.为了让计算机能计算出1到1亿的和,这时候就需要循环结构了 ...
最新文章
- oracle游标错误,ORACLE游标与错误处理
- 字符串和json之间的互相转化
- 【NLP】 NLP领域最具影响力的国内外会议介绍
- flutter 按钮_【Flutter】ButtonBar和ToggleButtons组合按钮
- 【Android】Eclipse JNI开发
- r语言实现岭回归_数据分析中常见的七种回归分析以及R语言实现(五)
- voc2007数据集_【目标检测数据集】PASCAL VOC制作
- 事业单位的生活是怎么样的?
- 三菱驱动器参数表_三菱伺服驱动器参数设置CM100TJ-24F
- 栅栏密码及其变形W型栅栏密码
- 龙举直播电商api开发
- 锚杆拉拔试验弹性模量计算_锚杆拉拔试验检测标准
- 编写一个C语言程序 实现自我介绍,用c语言编程实现,别出心裁的情侣拍照
- node 暴漏模块中的api(转自了不起的node)
- 电脑配置低用不了PS怎么办?你需要网页版ps!
- 程序员吃的是青春饭?年纪大了何去何从
- 还想朝九晚五?不可能!
- 分析下锂电池,及其能量密度
- 用JS描述的数据结构及算法表示——栈和队列(基础版)
- 我在北京这几年(全)
热门文章
- web通讯录之登录注册界面
- Ubuntu14.04 VSCode工程在root下无运行,在非root无法修改配置文件
- 阿里云数字巡展:“云上峰会”背后的秘密武器
- 10年+,阿里沉淀出怎样的搜索引擎?
- 在SLS中快速实现异常巡检
- 异步编程到底在说啥?
- 备战春招:阿里一面,给了几条SQL,问需要执行几次树搜索操作?
- Cloud Native Infrastructures Meetup 北京 | 活动安排
- 程序员1w5以下的,2020年就要面对现实了...
- 云计算风起云涌,超融合恰逢其时!