selenium获取当当网python书籍前三页

1.配置好selenium环境,selenium环境配置地址如下：
https://blog.csdn.net/liaoqingjian/article/details/116785445?spm=1001.2014.3001.5502

2.下载selenium库：

pip install selenium

3.完整代码如下：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
import csvdef spider(url, keyword):driver = webdriver.Chrome()# 输入京东地址driver.get(url)driver.maximize_window()  # 窗口最大化# 定位输入框input_tag = driver.find_element_by_id('key_S')# 模拟键盘输入关键字input_tag.send_keys(keyword)# 键盘操作input_tag.send_keys(Keys.ENTER)# 等待time.sleep(5)k = []for j in range(3):if j==0:for i in range(1, 61):# 图片link = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/a/img').get_attribute('src')# 书名name = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[1]/a').text# 价格price = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[3]/span[1]').text# 作者dname = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[5]/span[1]/a').text#出版日期b = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[5]/span[2]').text#出版社c = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[5]/span[3]/a').text#评论数d = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[4]/a').text#评论e = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[2]').textk.append([link,name,price,dname,b,c,d,e])print(i)print(k)# 点击下一页，通过定位超链接上面的文本元素driver.find_element_by_partial_link_text('下一页').click()time.sleep(2)else:for i in range(1, 61):link = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/a/img').get_attribute('src')# 书名name = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[1]/a').text# 价格price = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[3]/span[1]').text# 作者dname = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[@class="search_book_author"]/span[1]/a').text# 出版日期b = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[@class="search_book_author"]/span[2]').text# 出版社c = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[@class="search_book_author"]/span[3]/a').text# 评论数d = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[@class="search_star_line"]/a').text# 评论e = driver.find_element_by_xpath(f'//ul[@id="component_59"]/li[{i}]/p[2]').textk.append([link, name, price, dname, b, c, d, e])print(i)print(k)with open("当当python.csv", "w", newline="",encoding="utf-8") as datacsv:csvwriter = csv.writer(datacsv, dialect=("excel"))csvwriter.writerow(["图片", "书名", "价格", "作者","出版日期","出版社","评论数","评论"])for i in k:csvwriter.writerow(i)driver.quit()if __name__ == '__main__':spider('http://www.dangdang.com/', keyword='python')

4.跑通了的同学拜托给我一键三连，谢谢。

selenium获取当当网python书籍前三页相关推荐

xpath提取当当网数学书前十页信息
''' http://category.dangdang.com/cp01.03.51.00.00.00.htmlget这些书都在一个个的li标签里,先获取所有的li,再分别对每一个li进行xpath ...
针对当当网畅销书籍榜单前500的研究分析
目录第一章项目介绍第二章项目组织与项目计划第三章数据采集. 3.1 数据采集目标. 3.2 数据采集工具与方法. 3.3 数据采集流程 3.4 数据采集保存 3.5 本章小结第四章数据 ...
python爬取当当网的书籍信息并保存到csv文件
python爬取当当网的书籍信息并保存到csv文件依赖的库: requests #用来获取页面内容 BeautifulSoup #opython3不能安装BeautifulSoup,但可以安装Bea ...
python取前三位_python3 获取前几个高频列表元素
python3 获取前几个高频列表元素 2020-11-20 --- 讲解对象:python3 获取前几个高频列表元素作者:融水公子 rsgz Python3教程 most_common(N) 作用 ...
Scrapy爬取当当网图书销售前100
scrapy爬取当当网图书畅销榜一.采集任务爬取当当网图书畅销榜信息,获取热销图书前500相关数据. 二.网页解析 1. 打开当当网,按照图书榜>图书畅销榜进入当当网图书畅销榜[http: ...
用selenium爬当当网商品信息
[项目介绍] 参考崔庆才老师<Python3网络爬虫开发实战>第七章动态渲染页面爬取里爬淘宝网的实例,由于现在淘宝网查找需要先登录,故用当当网进行尝试. 1.动态加载页面的判断? F12→ ...
爬虫之获取当当网全部图书
#encoding:utf-8##author:wuhao# #****** #爬取当当网图书,未使用框架 #main是主函数 #KindLinks.py和获取数据信息.py 是2个封装的类 #Ki ...
python取前三位_Python 实现取多维数组第n维的前几位
Python 实现取多维数组第n维的前几位现在我们有一个shape为(7352, 9, 128, 1)的numpy数组. 想要取出第2维的前三个数据,构成新数组(7352, 3, 128, 1) 我 ...
MySQL获取每个分类下面的前三条数据
现在项目遇到个问题,我相册图片里面有很多分类,我想取出每个分类下面的前三条数据,应该怎么做呢? 数据结构如下: DROP TABLE IF EXISTS `t_picture`; CREATE TAB ...

selenium获取当当网python书籍前三页

selenium获取当当网python书籍前三页相关推荐

最新文章

热门文章