python爬取京东手机数据_Python数据爬虫学习笔记（21）爬取京东商品JSON信息并解析...

一、需求：有一个通过抓包得到的京东商品的JSON链接，解析该JSON内容，并提取出特定id的商品价格p，json内容如下：

jQuery923933([{"op":"7599.00","m":"9999.00","id":"J_5089253","p":"7099.00"},

{"op":"48.00","m":"96.00","id":"J_16463451903","p":"38.00"},

{"op":"59.00","m":"229.00","id":"J_33440061157","p":"59.00"},

{"op":"79.00","m":"80.00","id":"J_6027746","p":"79.00"},

{"op":"32.90","m":"59.00","id":"J_33183063203","p":"32.90"},

{"op":"169.00","m":"699.00","id":"J_33341525798","p":"169.00"},

{"op":"228.00","m":"399.00","id":"J_30639439257","p":"228.00"},

{"op":"188.00","m":"199.00","id":"J_25539002541","tpp":"130.00","up":"tpp","p":"138.00"},

{"op":"55.00","m":"99.00","id":"J_3136674","p":"39.90"},

{"op":"25.90","m":"55.90","id":"J_5338456","p":"22.50"},

{"op":"50.00","m":"50.00","id":"J_11170365589","p":"50.00"}]);

注意到该json内容是一个数组（array），由中括号[ ]括起来，并非是一个由大括号{ }括起来的对象(object)。

二、编写代码：import urllib.request

import re

import json

#爬取json数据内容

data=urllib.request.urlopen("https://p.3.cn/prices/mgets?callback=jQuery923933&type=1&area=1&pdtk=&pduid=15374502312291140901533&pdpin=&pin=null&pdbp=0&skuIds=J_5089253%2CJ_16463451903%2CJ_33440061157%2CJ_6027746%2CJ_33183063203%2CJ_33341525798%2CJ_30639439257%2CJ_25539002541%2CJ_3136674%2CJ_5338456%2CJ_11170365589&ext=11100000&source=item-pc").read()

#将数据内容转换为字符串

str1=str(data)

#去掉字符串的无用信息，本例为首尾的圆括号前后部分

str1 = str1[(str1.find('(')+1):str1.rfind(')')]

#将json数据转换为python数据格式，此处jdata为list数组

jdata=json.loads(str1)

#遍历数据，找出特定id的p数值

for i in range(0,len(jdata)):

jdataObj=jdata[i]

if jdataObj["id"]=="J_5089253":

print(jdataObj["p"])

三、补充：

python爬取京东手机数据_Python数据爬虫学习笔记（21）爬取京东商品JSON信息并解析...相关推荐

爬虫学习笔记：爬取古诗文网
1.目标网站目标网站:https://so.gushiwen.org/shiwen/default.aspx? 2.爬虫目的爬取目标网站的文本,如古诗的内容,作者,朝代,并且保存到本地中. 3.爬 ...
爬虫学习笔记——Selenium爬取淘宝商品信息并保存
在使用selenium来模拟浏览器操作,抓取淘宝商品信息前,先完成一些准备工作. 准备工作:需要安装selenium,pyquery,以及Chrome浏览器并配置ChromeDriver. 安装sel ...
python网络爬虫学习_python网络爬虫学习笔记
介绍: 网络爬虫的名字非常有意思,英文名称web spider. 真得非常形象.蜘蛛结网为了获取食物,而我们的爬虫程序,也是为了获取网络上的资源. 这篇blog是本人学习过程中的记录.学习过程中,使用 ...
python爬虫urllib 数据处理_python爬虫学习笔记(三)-爬取数据之urllib库
1. 小试牛刀怎样扒网页呢? 其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加 JS.CSS,如果把 ...
【Python3 爬虫学习笔记】爬取喜马拉雅《宝宝巴士-奇妙三字经》
最近发现,娃喜欢睡觉之前听<三字经>,又不想给他玩手机,遂起心将喜马拉雅FM上的音频下载下来的想法. 在网上搜到了一篇文章,介绍了如何爬取:https://blog.csdn.net/ma ...
风变python基础语法第11关_Python基础语法学习笔记之风变第十四关项目实操
一.明确项目目标需要一个图书管理系统,来帮助他管理书籍的借阅情况.他希望这个简易的程序可以做到: 二.分析过程,拆解项目第一种用法是使用类生成实例对象.类作为实例对象的模版,每个实例创建后,都将拥 ...
用python处理excel的基本语法_Python操作Excel学习笔记（28）：条件格式
excelperfect Excel支持3种不同类型的条件格式:内置.标准和自定义.内置条件格式将特定规则与预定义样式相组合.标准条件格式将特定规则与自定义格式相组合.此外,可以定义自定义公式来应用使 ...
python定义函数的组成部分有_Python文档学习笔记（4）--定义函数
定义函数关键字 def 引入函数的定义.其后必须跟有函数名和以括号标明的形式参数列表.组成函数体的语句从下一行开始,且必须缩进. 执行一个函数会引入一个用于函数的局部变量的新符号表. 因此,在函数 ...
python语句x 3 3执行_Python 3.x 学习笔记--杂
在交互式环境中,编译器会有一个小整数池的概念,会把(-5,256)间的数预先创建好,而当a和b超过这个范围的时候,两个变量就会指向不同的对象了,因此地址也会不一样, http://www.runoob ...

python爬取京东手机数据_Python数据爬虫学习笔记（21）爬取京东商品JSON信息并解析...

python爬取京东手机数据_Python数据爬虫学习笔记（21）爬取京东商品JSON信息并解析...相关推荐

最新文章

热门文章