java爬虫爬豆瓣图书,十一. 爬虫实战(Xpath)- 豆瓣图书TOP250的数据
爬取网址:https://book.douban.com/top250
爬取信息:书名、书名链接,评价、评价人数、一句话点评
爬书名时,直接复制xpath会遇到一个坑。
这是由于chrome、Firefox等浏览器为了对html文本进行规范化,自动在table标签下添加了tbody。
(通过【查看网页源代码】和【审查】来进行比较,就能清楚看到上述结果。)
所以,需要手动去除table后面的/tbody。
原xpath路径: //*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div[1]/a
替换xpath路径://*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div[1]/a
要爬取多本图书的信息,只需列出多本图书的xpath信息进行观察,结果发现table序号不断增加,以书名为例:
//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div[1]/a
//*[@id="content"]/div/div[1]/div/table[2]/tr/td[2]/div[1]/a
//*[@id="content"]/div/div[1]/div/table[3]/tr/td[2]/div[1]/a
//*[@id="content"]/div/div[1]/div/table[4]/tr/td[2]/div[1]/a
#获取多本图书书名的xpath路径为:
//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[1]/a
单页面代码为:
import requests
from lxml import etree
url = 'https://book.douban.com/top250'
r = requests.get(url)
#print(r.status_code)
selector = etree.HTML(r.text)
book_names = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[1]/a/@title')
ratings = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[2]/span[2]/text()')
rating_nums = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[2]/span[3]/text()')
comments = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/p[2]/span/text()')
book_links = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[1]/a/@href')
print(book_names , ratings, rating_nums, comments, book_links)
多页面信息爬取,观察页面规律,并构造出网页列表:
urls = ['https://book.douban.com/top250?start={}'.format(i * 25) for i in range(10)]
附上全部代码,由于某些书不存在评论,故而使用了try语句:
import requests
from lxml import etree
import time
urls = ['https://book.douban.com/top250?start={}'.format(i * 25) for i in range(10)]
for url in urls:
r = requests.get(url)
selector = etree.HTML(r.text)
books = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]')
for book in books:
book_name = book.xpath('./div[1]/a/@title')[0]
rating = book.xpath('./div[2]/span[2]/text()')[0]
rating_num = book.xpath('./div[2]/span[3]/text()')[0].strip('()\n ') #去除包含"(",")","\n"," "的首尾字符
try:
comment = book.xpath('./p[2]/span/text()')[0]
except:
comment = ""
book_link = book.xpath('./div[1]/a/@href')[0]
print(book_name ,rating, rating_num,comment, book_link)
time.sleep(3)
进一步对xpath的路径进行精简;
使用if...else语句替换try语句;
使用csv文件存储数据。
import requests
from lxml import etree
import time
import csv
f = open('F://book_top250.csv','w',newline='')
writer = csv.writer(f)
writer.writerow(('书名','评价','评价人数','一句话点评','书名链接'))
urls = ['https://book.douban.com/top250?start={}'.format(i * 25) for i in range(10)]
for url in urls:
r = requests.get(url)
selector = etree.HTML(r.text)
books = selector.xpath('//tr[@class="item"]')
for book in books:
book_name = book.xpath('td/div/a/@title')[0]
rating = book.xpath('td/div/span[2]/text()')[0]
rating_num = book.xpath('td/div/span[3]/text()')[0].strip('()\n 人评价') #去除包含"(",")","\n"," ","人评价"的首尾字
comment_t = book.xpath('td/p/span/text()') #p[2]可简化为p。
#comment_t = book.xpath('td/p[2]/span/text()')
comment = comment_t[0] if len(comment_t) !=0 else "空"
book_link = book.xpath('td/a/@href')[0]
writer.writerow((book_name,rating,rating_num,comment,book_link))
time.sleep(3)
f.close()
提炼文件结构;
增加作者,出版日期,价格信息。
用记事本打开正常,用Excel打开乱码。解决办法:用记事本打开,另存为UTF-8的文件,便不会出现乱码问题。
import requests
from lxml import etree
import time
import csv
def get_info(url):
r = requests.get(url)
selector = etree.HTML(r.text)
books = selector.xpath('//tr[@class="item"]')
for book in books:
book_name = book.xpath('td/div/a/@title')[0]
rating = book.xpath('td/div/span[2]/text()')[0]
rating_num = book.xpath('td/div/span[3]/text()')[0].strip('()\n 人评价') #去除包含"(",")","\n"," ","人评价"的首尾字
comment_t = book.xpath('td/p/span/text()') #p[2]可简化为p。
#comment_t = book.xpath('td/p[2]/span/text()')
comment = comment_t[0] if len(comment_t) !=0 else "空"
book_infos = book.xpath('td/p[1]/text()')[0]
author = book_infos.split('/')[0]
publisher = book_infos.split('/')[-3]
date = book_infos.split('/')[-2]
price = book_infos.split('/')[-1]
book_link = book.xpath('td/a/@href')[0]
writer.writerow((book_name,rating,rating_num,comment,author,publisher,date,price,book_link))
if __name__ == '__main__':
f = open('F://book_top250.csv','w',newline='',encoding='utf-8')
writer = csv.writer(f)
writer.writerow(('书名','评价','评价人数','一句话点评','作者','出版社','出版日期','价格','书名链接'))
urls = ['https://book.douban.com/top250?start={}'.format(i * 25) for i in range(10)]
for url in urls:
get_info(url)
time.sleep(3)
f.close()
java爬虫爬豆瓣图书,十一. 爬虫实战(Xpath)- 豆瓣图书TOP250的数据相关推荐
- python爬虫爬取图片代码_python爬虫实战 爬取天极图片
学习爬虫个人的意见是直接实战效果会很好 不要等全学完requests ,正则表达式,BeautifulSoup等再来实际操作.其实很多实战我们并不会用到requests库,BeautifulSoup, ...
- java怎么爬网易云_Python爬虫爬取网易云的音乐
Python爬虫爬取网易云的音乐(学习笔记) 在开始之前,做一点小小的说明哈: 我只是一个python爬虫爱好者,如果本文有侵权,请联系我删除! 本文需要有简单的python爬虫基础,主要用到两个爬虫 ...
- python爬虫爬图片教程_Python爬虫爬图片需要什么
Python爬虫爬图片需要什么?下面用两种方法制作批量爬取网络图片的方法: 第一种方法:基于urllib实现 要点如下: 1.url_request = request.Request(url) 2. ...
- python爬虫爬取图片代码_Python爬虫入门:批量爬取网上图片的两种简单实现方式——基于urllib与requests...
Python到底多强大,绝对超乎菜鸟们(当然也包括我了)的想象.近期我接触到了爬虫,被小小地震撼一下.总体的感觉就两个词--"强大"和"有趣".今天就跟大家分享 ...
- python爬虫爬取房源_python爬虫爬取安居客房源信息
Xpath插件的安装 链接:https://pan.baidu.com/s/1T3V11Ev8dPODa2fCRbeuCg 提取码:qvzf 将这个安装包解压缩 打开谷歌浏览器的扩展程序 ----&g ...
- python爬虫爬取歌曲_python爬虫实战:爬取全站小说排行榜
喜欢看小说的骚年们都知道,总是有一些小说让人耳目一新,不管是仙侠还是玄幻,前面更了几十章就成功圈了一大波粉丝,成功攀上飙升榜,热门榜等各种榜,扔几个栗子出来: 新笔趣阁是广大书友最值得收藏的网络小说阅 ...
- python爬虫爬图片教程_python爬虫实战之爬取京东商城实例教程
前言 本文主要介绍的是利用python爬取京东商城的方法,文中介绍的非常详细,下面话不多说了,来看看详细的介绍吧. 主要工具 scrapy BeautifulSoup requests 分析步骤 1. ...
- python爬虫爬取教程_python爬虫实战之爬取京东商城实例教程
前言 本文主要介绍的是利用python爬取京东商城的方法,文中介绍的非常详细,下面话不多说了,来看看详细的介绍吧. 主要工具 scrapy BeautifulSoup requests 分析步骤 1. ...
- 用python爬取豆瓣书评,简短Python爬虫爬取《人民的名义》豆瓣书评,附源代码和逐行解释...
第一步,查看要爬取的网站:https://book.douban.com/subject/26952485/collections 明确要爬取的信息,以及查看对应的xpath 本爬虫提取如下的五条信息 ...
最新文章
- UML 建模大佬养成记(Java版)
- ibm笔记本电脑电池_福建省厦门市集美区电池定制供应多少钱
- zabbix监控系统客户端安装
- 30分钟3300%性能提升—python+memcached网页优化小记
- 一种基于局部线性嵌入的半监督方法——半监督局部线性嵌入(SSLLE),MATLAB程序代码
- Git忽略文件或文件夹
- STM32学习——TIM基本定时器
- Spring 字符编码过滤
- python包裹和运费_这个Python库真的太好用了,10行代码就能轻松搞定目标检测
- 【mysql5.6】数据类型
- ubuntu 切换java环境,配置单独的用户环境
- 【一些细节问题】5种神经网络常见的求导!
- 【渝粤教育】电大中专跨境电子商务理论与实务 (27)作业 题库
- android studio运行项目快捷键,Android Studio 快捷键大全
- Mobileye自动驾驶汽车在纽约市开跑
- agent实现apm上报
- 带宽与码元的关系_带宽和传输速率的关系是什么?
- linux pki目录,Linux目录结构和常用命令
- ​AAAI 2023 | 基于历史对比学习的时序知识图谱推理
- vim菜单栏不正常显示以及隐藏菜单栏