【Python爬虫】爬取京东手机名字和价格(搜索的第一页)，存入Excel表

在爬取了网易云歌单之后，在网上找各种爬虫实战，然后就觉得这个简单一点，然后就开始了我的懵逼之路。这个代码只是爬取搜索出来的信息的第一页，后续会学习爬取下一页，还有添加京东首页搜索能力，现在就先写着第一页，大佬看一下：

import requests
import re
from bs4 import BeautifulSoup
from selenium import webdriver
from openpyxl import workbook
import time#创建wb对象，用于将信息存入Excel表
wb = workbook.Workbook()
ws = wb.active#先存入第一行
ws.append(['商品名称','商品价格'])#使用selenium模块，模拟浏览器访问网页，获取所有的源代码
url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=d6c4c2602be049be8b4fe6129f72f6ef'
chromedriver = "/home/l1/PycharmProjects/untitled/spider练习/chromedriver"
driver = webdriver.Chrome(chromedriver)
driver.implicitly_wait(3)
driver.get(url)#模拟鼠标下拉到底部
for i in range(1,5):driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")time.sleep(1)#接受获取到的内容
soup = BeautifulSoup(driver.page_source,'lxml')
goods_list = soup.select('.gl-item')#对内容进行筛选
for goods in goods_list:title = goods.select('.gl-i-wrap .p-name.p-name-type-2 a')[0].textprice = goods.select('.gl-i-wrap .p-price i')[0].textws.append([title,price])#文件保存和关闭模拟
wb.save('/home/l1/Desktop/goods_list.xls')
driver.close()

结果图贴一下：

第一页已经搞完了，接下来去搞点击下一页和首页搜索功能去。。。。

【Python爬虫】爬取京东手机名字和价格(搜索的第一页)，存入Excel表相关推荐

python爬虫爬取京东、淘宝、苏宁上华为P20购买评论
爬虫爬取京东.淘宝.苏宁上华为P20购买评论 1.使用软件 Anaconda3 2.代码截图三个网站代码大同小异,因此只展示一个 3.结果(部分) 京东淘宝苏宁 4.分析这三个网站上的评论数据 ...
python爬虫爬取58同城租房信息（使用动态IP）输出Excel文件
python爬虫爬取58同城信息(使用动态IP) 新手,为了做一个数据分析,搞了几天,终于搞出来了,大家可以给点意见啊. # coding=utf-8 import sys import csv im ...
利用python爬虫爬取京东商城商品图片
笔者曾经用python第三方库requests来爬取京东商城的商品页内容,经过解析之后发现只爬到了商品页一半的图片.(这篇文章我们以爬取智能手机图片为例) 当鼠标没有向下滑时,此时查看源代码的话,就会 ...
python爬虫爬取京东商品评价_网络爬虫-爬取京东商品评价数据
前段时间做商品评价的语义分析,需要大量的电商数据,于是乎就自己动手爬取京东的数据.第一次接触爬虫是使用selenium爬取CNKI的摘要,基于惯性思维的我仍然想用selenium+Firefox的方法 ...
python爬虫爬取京东商品评价_python爬取京东商品信息及评论
''' 爬取京东商品信息: 功能: 通过chromeDrive进行模拟访问需要爬取的京东商品详情页(https://item.jd.com/100003196609.html)并且程序支持多个页面爬取 ...
Python爬虫爬取虎牙数据！谁才是虎牙第一主播！
首先打开我们所需要爬取的网站,这里我们挑选的是虎牙直播. 我们今天所爬取的数据就是直播名,直播地址,直播的人,观看数以及直播的类别,如下图所示第一步关于直播的类别,从第一张图片我们可以看到在右边有直 ...
python爬虫爬取京东_Python爬虫学习爬取京东商品
1. 本节目标以抓取京东 App 的商品信息和评论为例,实现 Appium 和 mitmdump 二者结合的抓取.抓取的数据分为两部分:一部分是商品信息,我们需要获取商品的 ID.名称和图片,将它们 ...
超详细解析python爬虫爬取京东图片
超详细图片爬虫实战实例讲解(京东商城手机图片爬取) 1.创建一个文件夹来存放你爬取的图片 2.第一部分代码分析 3.第二部分代码分析完整的代码如下所示: 升级版代码: 爬取过程中首先你需要观察在手 ...
python爬虫爬取京东_python爬取京东价格
1.爬取商品名 Apple iPhone 7 (A1660) 32G 黑色移动联通电信4G手机 title = soup.select('.sku-name')[0].string.strip() ...

【Python爬虫】爬取京东手机名字和价格(搜索的第一页)，存入Excel表

【Python爬虫】爬取京东手机名字和价格(搜索的第一页)，存入Excel表相关推荐

最新文章

热门文章