python爬取商品信息_Python基于BeautifulSoup爬取京东商品信息

今天小编利用美丽的汤来为大家演示一下如何实现京东商品信息的精准匹配~~

HTML文件其实就是由一组尖括号构成的标签组织起来的，每一对尖括号形式一个标签，标签之间存在上下关系，形成标签树；因此可以说Beautiful Soup库是解析、遍历、维护“标签树”的功能库。

如何利用BeautifulSoup抓取京东网商品信息

首先进入京东网，输入自己想要查询的商品，向服务器发送网页请求。在这里小编仍以关键词“狗粮”作为搜索对象，之后得到后面这一串网址：

https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8，其中参数的意思就是我们输入的keyword，在本例中该参数代表“狗粮”，具体详情可以参考Python大神用正则表达式教你搞定京东商品信息。所以，只要输入keyword这个参数之后，将其进行编码，就可以获取到目标URL。之后请求网页，得到响应，尔后利用bs4选择器进行下一步的数据采集。

商品信息在京东官网上的部分网页源码如下图所示：

狗粮信息在京东官网上的网页源码

仔细观察源码，可以发现我们所需的目标信息是存在

标签下的，那么接下来我们就像剥洋葱一样，一层一层的去获取我们想要的信息。

直接上代码，如下图所示：

请求网页，获取源码

通常URL编码的方式是把需要编码的字符转化为%xx的形式，一般来说URL的编码是基于UTF-8的，当然也有的于浏览器平台有关。在Python的urllib库中提供了quote方法，可以实现对URL的字符串进行编码，从而可以进入到对应的网页中去。

之后利用美丽的汤去提取目标信息，如商品的名字、链接、图片和价格，具体的代码如下图所示：

利用美丽的汤去提取目标信息

在本例中，有个地方需要注意，部分图片的链接是空值，所以在提取的时候需要考虑到这个问题。其解决方法有两个，其一是如果使用img['src']会有报错产生，因为匹配不到对应值；但是使用get['src']就不会报错，如果没有匹配到，它会自动返回None。此外也可以利用try+except进行异常处理，如果匹配不到就pass，小伙伴们可以自行测试一下，这个代码测速过程在上图中也有提及哈。使用get方法获取信息，是bs4中的一个小技巧，希望小伙伴们都可以学以致用噢~~~

最后得到的效果图如下所示：

最终效果图

新鲜的狗粮出炉咯~~~

小伙伴们，有没有发现利用BeautifulSoup来获取目标信息比正则表达式要简单一些呢

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

python爬取商品信息_Python基于BeautifulSoup爬取京东商品信息相关推荐

python携程酒店评论_Python基于selenium爬取携程酒店评论信息
爬取站点任意一个携程酒店的详细链接,这里给出了四个,准备开四个线程爬取: https://hotels.ctrip.com/hotel/6278770.html#ctm_ref=hod_hp_hot ...
[信息抽取]基于ERNIE3.0的多对多信息抽取算法：属性关系抽取
[信息抽取]基于ERNIE3.0的多对多信息抽取算法:属性关系抽取 https://aistudio.baidu.com/aistudio/projectdetail/5143572?contribu ...
python爬取豆瓣电影信息_Python爬虫入门 | 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
python爬虫电影信息_Python爬虫入门 | 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
python爬虫搜特定内容的论文_python基于BeautifulSoup实现抓取网页指定内容的方法...
python基于BeautifulSoup实现抓取网页指定内容的方法更新时间:2015年07月09日 10:12:50 作者:光索与诺这篇文章主要介绍了python基于BeautifulSoup实 ...
python爬取boss直聘招聘信息_Python爬虫实战-抓取boss直聘招聘信息
Python Python开发 Python语言 Python爬虫实战-抓取boss直聘招聘信息实战内容:爬取boss直聘的岗位信息,存储在数据库,最后通过可视化展示出来 PS注意:很多人学Pyth ...
Python爬虫实例（2）-用BeautifulSoup爬取一个网页上的多张照片（以百度贴吧为例）
上一篇博客,实现了下载一张图片的简单爬虫.但是其代码,仅仅能下载一张图片.爬虫作为数据分析的第一步工作,需要爬取的是海量数据:假设我想下载一个网站几十张图片,那怎么实现呢? 首先,我们利用框图或者伪代 ...
python爬虫网站词云_Python爬虫之爬取情话网站并绘制词云
一.爬取网站 1.分析目标网站首先我们需要分析目标网站的源代码分析html得知所有的情话都是在标签下,而且一个标签对应着一句情话. 2.编写代码 import bs4 import reque ...
python音乐的数据抓取与分析_Python练习之抓取QQ音乐数据
[一.目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二.需要的库] 主要涉及的库有:requests.json.o ...

python爬取商品信息_Python基于BeautifulSoup爬取京东商品信息

python爬取商品信息_Python基于BeautifulSoup爬取京东商品信息相关推荐

最新文章

热门文章