python爬取京东商品_Python爬取京东的商品分类与链接

前言

本文主要的知识点是使用Python的BeautifulSoup进行多层的遍历。

如图所示。只是一个简单的哈，不是爬取里面的隐藏的东西。

示例代码

from bs4 import BeautifulSoup as bs

import requests

headers = {

"host": "www.jd.com",

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.933.400 QQBrowser/9.4.8699.400",

"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"

}

session = requests.session()

def get_url():

renspned = bs(session.get('http://www.jd.com/',headers = headers).text,'html.parser')

for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"}):

print(i.get_text(),':',i.get('href'))

get_url()

运行这段代码以及达到了我们的目的。

我们来解读一下这段代码。

首先我们要访问到京东的首页。

然后通过BeautifulSoup对访问到的首页进行解析。

这个时候，我们就要定位元素，来获取我们需要的东西了。

在浏览器中通过F12，我们可以看到下图所示的东西：

我们来看看下面这句代码：

for i in renspned.find("div", {"class": "dd-inner"}).find_all("a",{"target":"_blank"})

这一行代码完全满足我们的需求，首先用find方法，定位到了class=“dd-inner”的div，然后使用find_all对该标签下所有的a标签。

最后，我想打印出所有的商品分类以及对应的链接，于是，我使用了i.get_text()和i.get('href')的方法终于获取到了商品分类和对应的链接。

总结

其实不是很难，主要是要用对方法。笔者因为是初学方法没有用对。花了差不多两天时间才搞定。这里也是告诉大家，可以使用find().find_all()的方法进行多层的遍历。以上就是我利用Python爬取京东的商品分类与链接的一些经验，希望对大家学习python能有所帮助。

本文标题: Python爬取京东的商品分类与链接

本文地址: http://www.cppcns.com/jiaoben/python/161531.html

python爬取京东商品_Python爬取京东的商品分类与链接相关推荐

python京东商品_Python爬取京东的商品分类与链接
前言本文主要的知识点是使用Python的BeautifulSoup进行多层的遍历. 如图所示.只是一个简单的哈,不是爬取里面的隐藏的东西. 示例代码 from bs4 import Beautifu ...
京东价格api，京东商品详情接口，京东api，京东优惠券接口，京东到手价api接口，京东app详情接口，接口代码对接实现价格监控接口，品牌维权接口，行业分析api接口代码分享
一.京东价格api,京东商品详情接口,京东api,京东优惠券接口,京东到手价api接口,接口代码对接实现价格监控,行业分析接口代码如下: 点击获取测试key和secret 1.接口请求参数如下: 请求 ...
python爬取京东商品价格教科书中文版_Python爬虫，京东商品详情爬取！
最近因需求需要,需要到京东爬取一些类别的商品信息.记录下过程中踩过的坑,最后奉献上全部代码.仅供互相学习,如有错误请指正~~京东网页翻页. 京东的页面是打开时先加载前30个商品,浏览到下面时再加载另3 ...
webscraper多页爬取_爬虫工具实战篇（Web Scraper）- 京东商品信息爬取（原创）
一.背景与目的数字化营销时代,快速掌握了解数据是一项基本技能,本文主要讲解里面Web Scraper工具如何爬取公开数据,比如爬取京东的店铺售卖商品情况数据,以便我们更好地了解竞品对手的产品情况和定 ...
python 柱状图上显示字体_Python爬取百部电影数据，我发现了这个惊人真相！
2019年就这么匆匆过去了,就在前几天国家电影局发布了2019年中国电影市场数据,数据显示去年总票房为642.66亿元,同比增长5.4%:国产电影总票房411.75亿元,同比增长8.65%,市场占比 ...
python抓取微博评论_Python爬取新浪微博评论数据，你有空了解一下？
开发工具 Python版本:3.6.4 相关模块: argparse模块: requests模块: jieba模块: wordcloud模块: 以及一些Python自带的模块. 环境搭建安装Pyth ...
python爬取手机微信_Python爬取微信好友
前言今天看到一篇好玩的文章,可以实现微信的内容爬取和聊天机器人的制作,所以尝试着实现一遍,本文记录了实现过程和一些探索的内容 itchat安装对微信的控制可以使用itchat来实现,我们找到itc ...
python开源代码百度盘_python爬取百度云网盘资源-源码
今天测试用了一下python爬取百度云网盘资源. 代码片段import urllib import urllib.request import webbrowser import re def yun ...
python爬取动态网页_python爬取动态网页数据，详解
原理:动态网页,即用js代码实现动态加载数据,就是可以根据用户的行为,自动访问服务器请求数据,重点就是:请求数据,那么怎么用python获取这个数据了? 浏览器请求数据方式:浏览器向服务器的api(例 ...
python爬关键词百度指数_Python 抓取指定关键词的百度指数
百度指数很多时候在我们做项目的时候会很有帮助,从搜索引擎的流量端给到我们一些帮助,比如:家具行业的销量跟"装修","新房","二手房"等关键 ...

python爬取京东商品_Python爬取京东的商品分类与链接

python爬取京东商品_Python爬取京东的商品分类与链接相关推荐

最新文章

热门文章