如何爬取商品详情页中的信息

如下图，我们要爬取标题和价钱和区域等

1、导入库

from bs4 import BeautifulSoup
import requests
import time

2、抓取整个HTML网页（增加判断语句，防止解析404页面）

wb_data = requests.get('https://bj.58.com/jiadian/29063883256526x.shtml')
if wb_data.status_code == 404:
pass
else:
soup = BeautifulSoup(wb_data.text, 'lxml')

3、解析抓取的内容，并定位自己想要的内容

data = {
        'title':soup.title.text.strip(),

        #basicinfo > div.infocard__container.haveswitch > div > div.infocard__container__item__main > span
        #'price':soup.select(' span.infocard__container__item__main__text--price '),
        'price': soup.select(' span.infocard__container__item__main__text--price ')[0].text.strip(),
        #'pub_date':soup.select('.pr-5')[0].text.strip().split(' ')[0],

        'area':soup.select('div.infocard__container__item__main > a')[0].text.strip(),
        #'cates':list(soup.select('ul.det-infor > li:nth-of-type(1) > span')[0].stripped_strings),
        'url':url
    }
    print(data)

如何爬取商品详情页中的信息相关推荐

商品详情页中，当鼠标放到小图上时，改变大图的图片为当前小图的图片
在做商品详情页时,我们会遇到这样的问题,当鼠标移动到小图上的时候,所对应的大图也会随之改变,变成当前鼠标所在位置的小图图片,今天我给大家分享一下我的做法,希望对大家有所帮助,也希望得到大家的指点. / ...
【爬虫】爬取我的CSDN中的信息
爬取博客标题 from urllib import request from lxml import etree page=1 total=0 while page<=2:request_url ...
仿淘宝商品详情页中（继续拖动到图文详情）
参考文章http://www.jb51.net/article/91858.htm 核心view 有2个一个是自定义的ViewGroup 一个是自定义的ScrollView 首先是自定义的Scrol ...
iOS 开发商品详情页中的banner中点击查看图片
本文出自code4app,原文地址:http://www.code4app.com/blog-... 轮翻播放与查看是分开的,轮翻是是用开源的SDCycleScrollView 这里是给出的是查看的 ...
仿京东淘宝商品详情页中视频和图片的轮播功能
还没有学会如何上传视频到博客上,先上传图片吧案例下载地址: https://download.csdn.net/download/dawnzeng/10430298 视频播放借用了饺子播放器,最主要 ...
Java网络商城项目 SpringBoot+SpringCloud+Vue 网络商城（SSM前后端分离项目）十六（商品排序，Thymeleaf快速入门，商品详情页的展示）
Java网络商城项目 SpringBoot+SpringCloud+Vue 网络商城(SSM前后端分离项目)十六(商品详情页的展示) 一.商品排序 1.完善页面信息这是用来做排序的,默认按照综合排序 ...
亿级流量电商详情页系统实战-28.商品详情页结构分析、缓存全量更新问题以及缓存维度化解决方案
1.前言实时性比较高的那块数据,比如说库存,销量之类的这种数据,我们采取的实时的缓存+数据库双写的技术方案,双写一致性保障的方案实时性要求不高的数据,比如说商品的基本信息,等等,我们采取的是三级缓 ...
商品详情页动态渲染系统：大型网站的多机房4级缓存架构设计
124_大型电商网站的商品详情页的深入分析之前,咱们也是说在讲解这个商品详情页系统的架构缓存架构,高可用服务商品详情页系统,我们只是抽取了其中一部分来讲解,而且还做了很大程度的简化主要是为了用 ...
php首页遍历出商品详情页,ECSHOP首页/分类页/详情页各页面调用显示销量
1.在首页新品.热卖.精品等调用商品销售打开 includes/lib_goods.php 在文件尾部?>前添加以下代码:function get_buy_sum($goods_id){ $s ...

如何爬取商品详情页中的信息

如何爬取商品详情页中的信息相关推荐

最新文章

热门文章