python爬取京东数据加载失败_Python爬取京东商品数据

对京东某一商品信息页面的HTML代码进行分析，可以发现它的图书产品信息页面都含有这样一段代码(不同类的商品页面有些不同)：

window.pageConfig={compatible:true,searchType: 1,product:{"skuid":"11408255","name":"u4f17u795eu7684u536bu661fuff1au4e2du56fdu7981u533a","skuidkey":"0337880E5D0F419E033111D988169617","href":"http://item.jd.com/11408255.html","src":"g14/M01/13/0F/rBEhVVMPSugIAAAAAAViPV7x4XAAAJS4gLble8ABWJV204.jpg","jqimg":"http://img11.360buyimg.com/n0/g14/M01/13/0F/rBEhVVMPSugIAAAAAAViPV7x4XAAAJS4gLble8ABWJV204.jpg","wMaprice":"32.00","wMeprice":"23.40","cat":[1713,9340,9346],"brand":"","tips":false,"type":1,"n":false,"g":false}};

显然这就是我们需要的商品信息，Python代码如下：

import json

import re

import urllib

for i in range(11348876,11348999):#数字代表京东商品编号

URL='http://item.jd.com/%s.html'%(i)

page=urllib.urlopen(URL).read()

idx=page.find('product:')

if(idx>=0):

idx+=8

res=re.search(r'{.+?}',page[idx:]) #用正则表达式匹配

text=json.loads(res.group()) #用json读取

print("%s,%s,%s,%s,%s"%(text['skuid'],text['wMaprice'],text['name'],text['href'],text['jqimg']))

python爬取京东数据加载失败_Python爬取京东商品数据相关推荐

python爬取京东数据加载失败_python 爬京东数据时，无法登陆。
想使用python爬取京东的快递信息,现在需要解决的首要问题是使用python模拟浏览器登陆,遇到了下面的问题. _t _ntNBMNX ({"username":"\u ...
微信小程序体验版数据加载失败，打开调试模式下才可以
检查"不校验合法域名.web-view(业务域名).TLS 版本以及 HTTPS 证书"是否被勾选上,发现勾上了,我把它去了,发现数据加载不了了: 体验版是必须要把沟去掉校验域名的 ...
python 异步加载图片_Python 爬取拉钩网异步加载页面
如下是我简单的获取拉钩网异步加载页面信息的过程获取的是深圳 Python 岗位的所有信息,并保存在Mongo中 (对于异步加载,有的人说是把你要爬页面的信息整个页面先爬下来,保存本地,然后再看有没有 ...
Python《突破JS动态加载，成功爬取漫画》
今天就先挑战另外个动态加载的漫画网站,dmzj 漫画太多了,我们先挑选几个漫画下载试一试. 比如我们点击第一部漫画,进去后看看. 这里有很多章节,获得所有的章节这里不难. 接下来我们点击一个章节进去看 ...
fwm环境APP菜品数据加载失败的优化操作
1)在项目的.env文件中添加如下一行: RESPONSE_CACHE_ENABLED=true 2)拷贝 laravel-worker.conf.example,将laravel字段替换为域名,并执 ...
[Aaronyang] 写给自己的WPF4.5 笔记6[三巴掌-大数据加载与WPF4.5 验证体系详解 2/3]
我要做回自己--Aaronyang的博客(www.ayjs.net) 博客摘要: Virtualizing虚拟化DEMO 和大数据加载的思路及相关知识 WPF数据提供者的使用ObjectDataPr ...
azure云数据库_从Azure Databricks将数据加载到Azure SQL数据库
azure云数据库 In this article, we will learn how we can load data into Azure SQL Database from Azure Dat ...
android MVP连接服务器,Android之MVP模式实现登陆和网络数据加载
MVP简介相信你们对 MVC 都是比较熟悉了:M-Model-模型.V-View-视图.C-Controller-控制器,MVP做为MVC的演化版本,也是做为用户界面(用户层)的实现模式,那么相似的 ...
PyTorch1.12 亮点一览 | DataPipe + TorchArrow 新的数据加载与处理范式
目录前言现有的 Dataset 和 DataLoader 及其存在的问题新的数据加载方式:DataPipe 与 DataLoader2 结构化数据处理新范式:TorchArrow 总结参考链接 ...

python爬取京东数据加载失败_Python爬取京东商品数据

python爬取京东数据加载失败_Python爬取京东商品数据相关推荐

最新文章

热门文章