Python爬取豆瓣读书Top250（正则表达式）

#  -*- coding = utf-8 -*-
#导入所需库
from bs4 import BeautifulSoup
import re
import xlwt
import urllib.request, urllib.error
import sqlite3

爬取步骤
#第一步爬取数据
#第二步解析数据
#第三步保存数据

def main():baseurl = "https://book.douban.com/top250?start="datalist = getData(baseurl)savepath = "C:\\Users\\J\\Desktop\\读书2.xls"#保存路径# askURL("https://book.douban.com/top250?start=")saveData(datalist, savepath)#使用正则表达式进行内容提取
#规则设定
findLink = re.compile(r'<a href="(.*?)"')#书详情链接
findImgSrc = re.compile(r'<img src="(.*?)"',re.S)#书图片
findTitle = re.compile(r'title="(.*?)"',re.S)#书题
findFT = re.compile(r'<span style="font-size:12px;">(.*?)</span>')#外文名
findInq = re.compile(r'<p class="pl">(.*?)</p>',re.S)#相关信息
findScore = re.compile(r'span class="rating_nums">(.*?)</span>')#得分
findCount = re.compile(r'<span class="pl">(.*?)</span>', re.S)#评价人数
findIntro = re.compile(r'<span class="inq">(.*)</span>',re.S)#简介

def getData(baseurl):datalist = []for i in range(0,10):url = baseurl + str(i *25)html = askURL(url)#将得到的数据进行逐一解析soup = BeautifulSoup(html, "html.parser")for item in soup.find_all("tr", class_ = "item"):# print(item)data = []item = str(item)link = re.findall(findLink, item)[0]data.append(link)img = re.findall(findImgSrc, item)[0]data.append(img)title = re.findall(findTitle, item)[0]data.append(title)Ftitle = re.findall(findFT,item)if (len(Ftitle)==0):data.append(' ')else:data.append(Ftitle[0])Inq = re.findall(findInq, item)[0]Inq = Inq.replace("[","")Inq = Inq.replace("]","")data.append(Inq)score = re.findall(findScore, item)[0]data.append(score)count = re.findall(findCount, item)[0]count = re.sub('((\s+)?)(\s+)?',"",count)count = count.replace("(","")count = count.replace("人评价)","")data.append(count)introduction = re.findall(findIntro, item)if len(introduction) != 0 :introduction = introduction[0]data.append(introduction)else:data.append("暂无介绍")datalist.append(data)return datalist

def askURL(url):head ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"#模拟浏览器访问网页}request =  urllib.request.Request(url,headers=head)html = ""try:response = urllib.request.urlopen(request)html = response.read().decode("utf-8")except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)return html

#保存xls数据
def saveData(datalist, savepath):print("Save....")book = xlwt.Workbook(encoding="utf-8", style_compression=0)sheet = book.add_sheet('豆瓣读书Top250', cell_overwrite_ok=True)col = ("书链接", "图片链接", "书名", "副标题", "相关信息", "豆瓣评分", "评价人数", "简介")for i in range(0,8):sheet.write(0, i, col[i])for i in range(0,250):print("第%d条"%(i+1))data = datalist[i]for j in range(0,8):sheet.write(i+1, j, data[j])book.save(savepath)

if __name__ == '__main__':main()print("完成")

Python爬取豆瓣读书Top250（正则表达式）相关推荐

python爬取豆瓣读书top250并保存xls（含源码）
python爬取豆瓣读书top250并保存xls(含源码) 又是霍霍豆瓣的一天O(∩_∩)O哈哈~. 目标网站:http://book.douban.com/top250/ 全军出击!!! 首先,按下 ...
python爬取豆瓣读书top250
python爬取豆瓣读书top250,并保存在本地. 分别用requests+re.requests+xpath 完成 1.requests + re import requests import r ...
python爬虫爬取豆瓣读书Top250
python爬虫爬取豆瓣读书Top250 话不多说,直接上代码! from urllib.request import urlopen, Request from bs4 import Beautif ...
使用python的scrapy框架简单的爬取豆瓣读书top250
使用python的scrapy框架简单的爬取豆瓣读书top250 一.配置scrapy环境 1. 配置相应模块如果没有配置过scrapy环境的一般需要安装lxml.PyOpenssl.Twisted ...
源码大公开！Python爬取豆瓣电影Top250源代码，赶紧收藏！
哈喽~大家好,我是恰恰.不知道是不是有很多小伙伴跟我一样,很喜欢看电影,尤其是那种别人推荐的豆瓣高分电影,所以学Python就有一个好处,用Python爬取豆瓣电影那是分分钟的事,再也不用因为有些电影 ...
爬虫项目实操三、用scrapy框架爬取豆瓣读书Top250的书名,出版信息和评分
安装方法:Windows:在终端输入命令:pip install scrapy:mac:在终端输入命令:pip3 install scrapy,按下enter键,再输入cd Python,就能跳转到P ...
爬取豆瓣读书Top250，导入sqlist数据库（或excel表格）中
爬取豆瓣读书Top250,导入sqlist数据库(或excel表格)中获取源代码请访问https://github.com/zhang020801/douban_bookTop250 一.程序源代码 ...
python爬取豆瓣读书的书名与简介
最近写了一个python爬取豆瓣读书的书名与简介的程序,一开始是要爬取当当书名与简介的,由于涉及动态的一些问题,运用了selenium库,也实现了但是爬取速度慢,而且不稳定,出现被目标计算机积极拒绝访 ...
一看就会的20行代码爬取豆瓣读书Top250
想入门Python爬虫,大家都喜欢拿爬取豆瓣读书Top250为例子来练手. 下面我就给大家分享一个简单的爬虫. 1.确定所需库首先我们要确定需要引入的库. 要爬取网页的数据,当然要发送请求啦,所以我 ...

Python爬取豆瓣读书Top250（正则表达式）

Python爬取豆瓣读书Top250（正则表达式）相关推荐

最新文章

热门文章