day05 selenium

from selenium import webdriver
# 导入键盘Keys
from selenium.webdriver.common.keys import Keys
import timedriver = webdriver.Chrome()# 检测代码块
try:# 隐式等待，等待标签加载driver.implicitly_wait(10)# 往京东主页发送请求driver.get('https://www.jd.com/')# 通过id查找input输入框input_tag = driver.find_element_by_id('key')# send_keys为当前标签传值input_tag.send_keys('中华字典')# 按键盘的回车键
    input_tag.send_keys(Keys.ENTER)time.sleep(3)'''爬取京东商品信息:公仔名称url价格评价'''# element 找一个# elements 找多个# 查找所有的商品列表good_list = driver.find_elements_by_class_name('gl-item')# print(good_list)# 循环遍历每一个商品for good in good_list:# 通过属性选择器查找商品详情页url# urlgood_url = good.find_element_by_css_selector('.p-img a').get_attribute('href')print(good_url)# 名称good_name = good.find_element_by_css_selector('.p-name em').textprint(good_name)# 价格good_price = good.find_element_by_class_name('p-price').textprint(good_price)# 评价数good_commit = good.find_element_by_class_name('p-commit').textprint(good_commit)str1 = f'''url: {good_url}名称: {good_name}价格: {good_price}评价: {good_commit}\n'''# 把商品信息写入文本中with open('jd.txt', 'a', encoding='utf-8') as f:f.write(str1)time.sleep(10)# 捕获异常
except Exception as e:print(e)# 最后都会把驱动浏览器关闭掉
finally:driver.close()

运行结果：

转载于:https://www.cnblogs.com/cangbao/p/11104512.html

day05 selenium相关推荐

day05 selenium库的基础使用
selenium请求库实现爬取京东商品信息: 导入selenium库利用try-catch实现对是否能连接进行异常检测与捕获 get方式向京东主页发送请求通过id查找iput输入框 send_ky ...
爬虫day05 动态网站爬取，json模块 selenium , phantomjs , BeautifulSoup
目录 1.糗事百科-xpath 2.动态网站数据抓取 - Ajax 3.json模块 4.selenium + phantomjs 强大的网络爬虫 1.selenium 2.phantomjs 3.常 ...
Python网络爬虫之图片懒加载技术、selenium和PhantomJS
引入今日概要图片懒加载 selenium phantomJs 谷歌无头浏览器知识点回顾验证码处理流程今日详情动态数据加载处理一.图片懒加载什么是图片懒加载? 案例分析:抓取站长素材ht ...
python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium) import requests from lxml import etree import json from selenium ...
python 爬虫day05
目录: 文章目录 Day05笔记糗事百科-xpath 目标 : 用户昵称段子内容好笑数评论数步骤动态网站数据抓取 - Ajax Day05笔记糗事百科-xpath 目标 : 用户昵称段 ...
python 基础网络爬虫 day05
目录 1.json模块 2.动态网站数据抓取 - Ajax 3.selenium + phantomjs 强大的网络爬虫组合 day04 lxml解析库使用流程 from lxml import e ...
Python:Selenium和PhantomJS
Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上, ...
python+selenium浏览器常用操作（一）
1.导入selenium自定义的webdriver.后续可通过调用此协议启动各大浏览器 from selenium import webdriver #浏览器 from selenium.webdri ...
selenium 不同版本Driver
selenium进行UI自动化测试需要Driver支持,不同的浏览器需要不同的Driver,之前使用的Driver可以正常运行,但是总会报一些莫名的问题,经过查找,原来IE的Driver需要与sele ...

day05 selenium

day05 selenium相关推荐

最新文章

热门文章