Python之爬虫-京东商品

#!/usr/bin/env python
# coding: utf-8from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By  # 按照什么方式查找，By.ID,By.CSS_SELECTOR
from selenium.webdriver.common.keys import Keys  # 键盘按键操作
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait  # 等待页面加载某些元素
import timedef get_goods(driver):try:goods = driver.find_elements_by_class_name('gl-item')for good in goods:detail_url = good.find_element_by_tag_name('a').get_attribute('href')p_name = good.find_element_by_css_selector('.p-name em').text.replace('\n', '')price = good.find_element_by_css_selector('.p-price i').textp_commit = good.find_element_by_css_selector('.p-commit a').textmsg = '''商品 : %s链接 : %s价钱 ：%s评论 ：%s''' % (p_name, detail_url, price, p_commit)print(msg, end='\n\n')button = driver.find_element_by_partial_link_text('下一页')button.click()time.sleep(1)get_goods(driver)except Exception:passdef spider(url, keyword):driver = webdriver.Chrome()driver.get(url)driver.implicitly_wait(3)  # 使用隐式等待try:input_tag = driver.find_element_by_id('key')input_tag.send_keys(keyword)input_tag.send_keys(Keys.ENTER)get_goods(driver)finally:driver.close()if __name__ == '__main__':spider('https://www.jd.com/', keyword='华为P30')

转载于:https://www.cnblogs.com/nickchen121/p/10825876.html

Python之爬虫-京东商品相关推荐

Python爬取京东商品评论数据
一.前言本文将承接笔者的上篇文章Python爬取京东商品数据,使用京东商品唯一id字段"sku"拼接url,得到真实的京东商品评论网址,进而解释数据并保存到文件中,所爬取到的数据 ...
python爬取京东商品数据要先登录_手把手教你用python 爬取京东评论
本次python实战,主要目标是利用 Python爬取京东商品评论数,如上图所示:爬取"Python之父"推荐的小蓝书,这些信息主要包括用户名.书名.评论等信息. 爬取的网址url ...
50行Python搞定京东商品抢购
50行Python搞定京东商品抢购之前写的一篇京东抢购商品传送门,由于京东账号登录图片验证码改为了极验验证码,一直在尝试怎么用请求来去破解,而不是selenium去模拟点击,但是技不如人搞不定... ...
Python爬取京东商品评论
京东商城的页面不是静态页面,其评论信息存放于json文件中,由ajax控制,所以我们在浏览器上看到的网页源代码和用Python爬下来的是不一样的,所以我们真正要爬取的是评论数据所存放的json文件. ...
Python爬取京东商品评论和图片下载
Python爬取京东商品评论和图片下载代码仅供学习使用,切勿扩散并且频繁爬取网站贴上代码和注释,方便自己下次看 import requests import time import json im ...
python爬取京东商品图片_python利用urllib实现爬取京东网站商品图片的爬虫实例
本例程使用urlib实现的,基于python2.7版本,采用beautifulsoup进行网页分析,没有第三方库的应该安装上之后才能运行,我用的IDE是pycharm,闲话少说,直接上代码! # -* ...
Python爬虫-京东商品到货自动邮件通知
文章目录前言京东爬虫网页分析代码实现效果演示小结前言前阵子疫情严重期间,口罩遭到疯抢,各大电商平台口罩供不应求.本文简述如何通过 Python 爬虫不断监控京东商品是否有货,并在到货时 ...
Python爬虫——京东商品信息前期准备
我们想用Python编写京东商品爬虫,其实很简单.可以使用Python的第三方爬虫框架(比如BeautifulSoup, requests等)结合学习HTTP请求和页面解析. 可以利用requests ...
python爬虫电商京东_python爬虫-京东商品爬取
京东商品爬取仅供学习一.使用selenium from selenium import webdriver from selenium.webdriver.common.keys import K ...

Python之爬虫-京东商品

Python之爬虫-京东商品

Python之爬虫-京东商品相关推荐

最新文章

热门文章