本来可以使用一条正则表达式完成图书信息的爬取，结果发现在CPU性能较差的电脑上进行爬取时耗时非常长，几乎无法将结果获取到。所以，将大的html源码先经过一次简单的匹配以获取到一个中间结果，然后再从中间结果中依次进行匹配。结果发现按照这个步骤，即使使用循环也能非常快速的获取到图书信息。（最后的代码为使用进程池，结果发现效果不佳）

步骤简介如下：

步骤1：使用requests库获取到网页源代码

步骤2：使用正则表达式将li标签中的内容获取到一个list中

步骤3：对每个list进行正则表达式匹配，共有两种匹配模式，将匹配到的结果打印输出

备注：可以使用进程池，但是对于小量正则匹配其效果并不如循环匹配理想。

from multiprocessing.pool import Pool
from functools import  partial
import requests
import re# 功能：爬取豆瓣读书中的图书信息
# 作者：zn
# 备注：如果使用一个正则表达式一次从网页结果中匹配，则耗时非常大def find_li():"""从豆瓣读书网页中获取到li标签中的内容:return:"""content = requests.get('https://book.douban.com/').textpattern=re.compile('<li.*?cover">(.*?)</li>',re.S)results=re.findall(pattern,content)return resultsdef find_result(i,li_results,patterns):"""从li_results中每次匹配一个结果:param i: li_results索引:param li_results:li标签匹配的结果:param patterns: 两种匹配模式:return:"""results = re.findall(patterns[0], li_results[i])if results:url, img, title, author, year, publisher = results[0]author = re.sub('\s', '', author)year = re.sub('\s', '', year)publisher = re.sub('\s', '', publisher)print(i,url, img, title, author, year, publisher)else:results = re.findall(patterns[1], li_results[i])if results:url, img, title, rating, author = results[0]author = re.sub('\s', '', author)rating = re.sub('\s', '', rating)print(i,url, img, title, rating, author)def find_douban_book():"""图书信息有两个种类，根据给定的匹配模式，依次获取各类图书信息。可以使用进程池，但效果不佳。:return:"""results = find_li()pattern0 = re.compile('<a.*?href="(.*?)".*?<img src="(.*?)".*?alt="(.*?)".*?<div class="author">(.*?)</div>.*?<span class="year">(.*?)</span>.*?publisher">(.*?)</span>.*?</div>',re.S)pattern1 = re.compile('a.*?href="(.*?)".*?src="(.*?)".*?alt="(.*?)".*?</a>.*?rating">(.*?)</span>.*?<p class="author">(.*?)</p>.*?</div>',re.S)patterns = [pattern0, pattern1]for i in range(len(results)):find_result(i,results, patterns)# pool=Pool(maxtasksperchild=1)# pool.map(partial(find_result,li_results=results,patterns=patterns),[i for i in range(len(results))])if __name__ == '__main__':find_douban_book()
爬取结果：
0 https://book.douban.com/subject/30330291/?icn=index-editionrecommend https://img3.doubanio.com/view/subject/m/public/s29890774.jpg 时间中的孩子 [英]伊恩·麦克尤恩 2018-11-1 南海出版公司
1 https://book.douban.com/subject/30362020/?icn=index-editionrecommend https://img3.doubanio.com/view/subject/m/public/s29928663.jpg 幼稚园：今日宜远游 韩寒主编 2018-11 浙江文艺出版社
2 https://book.douban.com/subject/30351554/?icn=index-editionrecommend https://img3.doubanio.com/view/subject/m/public/s29920535.jpg 活好 [日]日野原重明 2018-10-1 人民邮电出版社
3 https://book.douban.com/subject/30348482/?icn=index-editionrecommend https://img3.doubanio.com/view/subject/m/public/s29929080.jpg 红楼梦日历：锦色版·二〇一九 红楼梦精雅生活设计中心 2018-10 中信出版集团
4 https://book.douban.com/subject/30221537/?icn=index-editionrecommend https://img3.doubanio.com/view/subject/m/public/s29895041.jpg 奥斯曼帝国六百年 [英]帕特里克·贝尔福 2018-10 中信出版集团·新思文化
5 https://book.douban.com/subject/30282306/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29881481.jpg 泰坦的女妖 [美]库尔特·冯内古特 2018-10 上海译文出版社
6 https://book.douban.com/subject/30297216/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29881632.jpg 克里米亚战争 [英]奥兰多·费吉斯 2018-10 南京大学出版社
7 https://book.douban.com/subject/30353758/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29904181.jpg 逐星记 陆烨华 2018-11 新星出版社
8 https://book.douban.com/subject/30156802/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29916566.jpg 帝国 [波]雷沙德·卡普钦斯基 2018-10 生活·读书·新知三联书店
9 https://book.douban.com/subject/30282307/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29909296.jpg 厨房太平记 [日]谷崎润一郎 2018-11 上海译文出版社
10 https://book.douban.com/subject/30322198/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29927769.jpg 社会主义与“自然” 朱羽 2018-10 北京大学出版社
11 https://book.douban.com/subject/30297416/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29817722.jpg 雷沙革村的读墨人 〔荷兰〕托马斯·奥尔德·赫维尔特 2018-10-1 东方出版社
12 https://book.douban.com/subject/30340107/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29926814.jpg 直觉泵和其他思考工具 丹尼尔•丹尼特(DanielC.Dennett) 2018-11-1 浙江教育出版社
13 https://book.douban.com/subject/30284021/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29880076.jpg 天堂的喷泉 [英]阿瑟·克拉克 2018-11-1 四川科学技术出版社
14 https://book.douban.com/subject/30264643/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29869605.jpg 民粹主义大爆炸 [美]约翰·朱迪斯 2018-11-1 中信出版集团·见识城邦
15 https://book.douban.com/subject/30252310/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29909562.jpg 犯罪小说集 [日]吉田修一 2018-10 上海文艺出版社
16 https://book.douban.com/subject/30357968/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29902115.jpg 郑渊洁家庭教育课 郑渊洁 2018-11 天津人民出版社
17 https://book.douban.com/subject/26905155/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29917214.jpg 九故事 J·D·塞林格 2018-10-1 译林出版社
18 https://book.douban.com/subject/30372295/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29916759.jpg 旭日残阳 桑兵 2018-11 广西师范大学出版社
19 https://book.douban.com/subject/30345416/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29904087.jpg 铁浆 朱西甯 2018-10 九州出版社
20 https://book.douban.com/subject/30281339/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29917943.jpg 万物皆数 [法]米卡埃尔·洛奈（MickaëlLaunay） 2018-12 北京联合出版公司
21 https://book.douban.com/subject/30318719/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29910528.jpg 电幻国度 [瑞典]西蒙·斯托伦哈格 2018-10 浙江文艺出版社
22 https://book.douban.com/subject/30364892/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29908936.jpg 塑造神圣 包慧怡 2018-10 上海社会科学院出版社
23 https://book.douban.com/subject/30365801/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29909704.jpg 冷场 李诞 2018-11-20 四川文艺出版社
24 https://book.douban.com/subject/30324826/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29879114.jpg 心碎博物馆 〔克罗地亚〕奥林卡·维斯蒂卡、德拉任·格鲁比希奇 2018-10-25 北京联合出版公司
25 https://book.douban.com/subject/30257742/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29902044.jpg 奥麦罗斯 [圣卢西亚]德里克·沃尔科特 2018-10 广西人民出版社
26 https://book.douban.com/subject/30301627/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29888537.jpg 布鲁克林的巴别塔 [克罗地亚]达尼耶尔•杰杰 2018-12 后浪|花山文艺出版社
27 https://book.douban.com/subject/30329049/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29918201.jpg 中正之笔 [美]倪雅梅 2018-10 江苏人民出版社
28 https://book.douban.com/subject/30255679/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29911318.jpg 远处的拉莫 胡迁 2018-11 译林出版社
29 https://book.douban.com/subject/30356081/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29923776.jpg 奈飞文化手册 [美]帕蒂·麦考德 2018-10-1 浙江教育出版社
30 https://book.douban.com/subject/30346621/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29895367.jpg 正午时踏进光焰 郭爽 2018-11 新星出版社
31 https://book.douban.com/subject/30324016/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29917197.jpg 画中有猫 [英]德斯蒙德·莫里斯 2018-11-5 新星出版社
32 https://book.douban.com/subject/30358366/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29918538.jpg 张大小姐 [美]洪晃 2018-11-1 浙江文艺出版社
33 https://book.douban.com/subject/30244068/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29921776.jpg 腐败与政府 [美]苏珊·罗丝-阿克曼&nbsp;/&nbsp;[美]邦妮·J.帕利夫卡 2018-10-31 中信出版社
34 https://book.douban.com/subject/30254236/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29917244.jpg 4 3 2 1 [美]保罗·奥斯特 2018-11 理想国丨九州出版社
35 https://book.douban.com/subject/30353486/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29897337.jpg 认知天性 [美]PeterC.Brown&nbsp;/&nbsp;[美]HenryL.RoedigerIII&nbsp;/&nbsp;[美]MarkA.McDaniel 2018-10 中信出版社
36 https://book.douban.com/subject/30338759/?icn=index-latestbook-subject https://img1.doubanio.com/view/subject/m/public/s29899288.jpg 雷切帝国：正义号的觉醒 [美]安·莱基 2018-10-1 上海文艺出版社
37 https://book.douban.com/subject/30355421/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29917590.jpg 原节子 徐辰 2018-11 新星出版社
38 https://book.douban.com/subject/30231924/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29905205.jpg 沃普萧丑闻 [美]约翰·契弗 2018-10 译林出版社
39 https://book.douban.com/subject/30346791/?icn=index-latestbook-subject https://img3.doubanio.com/view/subject/m/public/s29890012.jpg 看见孩子，看见自己 【英】A.H.布拉夫曼著 2018-11 北京日报出版社
40 https://book.douban.com/subject/30193594/?icn=index-topchart-subject https://img3.doubanio.com/view/subject/m/public/s29840340.jpg 遮蔽的天空 8.2 作者：[美]保罗·鲍尔斯
41 https://book.douban.com/subject/30300327/?icn=index-topchart-subject https://img3.doubanio.com/view/subject/m/public/s29845861.jpg 料理图鉴 9.1 作者：[日]越智登代子著/平野惠理子绘
42 https://book.douban.com/subject/30336863/?icn=index-topchart-subject https://img3.doubanio.com/view/subject/m/public/s29890136.jpg 回答不了 8.9 作者：匡扶
43 https://book.douban.com/subject/30219710/?icn=index-topchart-subject https://img3.doubanio.com/view/subject/m/public/s29889153.jpg 日本设计六十年 8.8 作者：[日]内田繁
44 https://book.douban.com/subject/30339988/?icn=index-topchart-subject https://img1.doubanio.com/view/subject/m/public/s29888408.jpg 无中生有 9.0 作者：刘天昭
45 https://book.douban.com/subject/30266273/?icn=index-topchart-subject https://img3.doubanio.com/view/subject/m/public/s29860640.jpg 写作这门手艺 7.6 作者：[美]约翰·麦克菲
46 https://book.douban.com/subject/30338769/?icn=index-topchart-subject https://img1.doubanio.com/view/subject/m/public/s29888548.jpg 梦的化石 8.7 作者：[日]今敏
47 https://book.douban.com/subject/30314653/?icn=index-topchart-subject https://img1.doubanio.com/view/subject/m/public/s29869019.jpg 韭菜的自我修养 6.9 作者：李笑来
48 https://book.douban.com/subject/30316746/?icn=index-topchart-subject https://img1.doubanio.com/view/subject/m/public/s29902247.jpg 面具后的女人 7.8 作者：[法]柯莱特
49 https://book.douban.com/subject/30329569/?icn=index-topchart-subject https://img3.doubanio.com/view/subject/m/public/s29872673.jpg 人类愚蠢辞典 7.4 作者：[意大利]皮耶尔乔治·奥迪弗雷迪

python——利用正则表达式爬取豆瓣读书中的图书信息相关推荐

  1. 利用正则表达式爬取豆瓣读书top250书籍信息 附有详细分析

    import csv from lxml import etree import requestsfp=open('C:\\Users\我的电脑\Desktop\doubanbook.csv','wt ...

  2. 利用正则表达式爬取豆瓣电影排名

    利用正则表达式爬取豆瓣电影排名 一/正则表达式 二/用正则表达式爬取豆瓣top250 一/正则表达式 很多不太懂正则的朋友,在遇到需要用正则校验数据时,往往是在网上去找很久,结果找来的还是不很符合要求 ...

  3. Python网络爬虫：利用正则表达式爬取豆瓣电影top250排行前10页电影信息

    在学习了几个常用的爬取包方法后,转入爬取实战. 爬取豆瓣电影早已是练习爬取的常用方式了,网上各种代码也已经很多了,我可能现在还在做这个都太土了,不过没事,毕竟我也才刚入门-- 这次我还是利用正则表达式 ...

  4. python爬虫教程书籍-Python爬虫教程-爬取豆瓣读书

    豆瓣读书爬虫 Python所写,豆瓣读书的爬虫,方便大家搜罗各种美美书! 写在前面 通过豆瓣评分和评价人数等规则,可非常好的探索挖掘经典图书和隐藏好书,从中更高效地汲取书中智慧. 实现功能 1 可以爬 ...

  5. Python网络爬虫：利用正则表达式方法爬取‘’豆瓣读书‘’中‘’新书速递‘’条目

    1.简述:正则表达式是爬虫的方法之一,这里利用Requests库进行爬取,尽管Urllib也能进行爬取,但过程过于繁琐,在了解Urllib的爬取过程后,没有进行实战演练,但在学习了Requests的爬 ...

  6. 利用Python中的BeautifulSoup库爬取豆瓣读书中书本信息

    利用BeautifulSoup库,获取前250本图书的信息,需要爬取的信息包括书名.书名的URL链接.作者.出版社和出版时间.书本价格.评分和评论,把这些信息存到txt文件,要求将这些信息对齐,排列整 ...

  7. python爬虫_爬取豆瓣读书top500存入到excel文件

    目的:学习笔记 代码写的有点糟糕,还得努力,欢迎各位帮忙优化代码,嘻嘻嘻. 代码: import requests,xlwt #导入相关库,xlwt库用来写入到excel from lxml impo ...

  8. python爬取豆瓣读书_用python+selenium抓取豆瓣读书中最受关注图书并按照评分排序...

    抓取豆瓣读书中的(http://book.douban.com/)最受关注图书,按照评分排序,并保存至txt文件中,需要抓取书籍的名称,作者,评分,体裁和一句话评论 方法一:#coding=utf-8 ...

  9. python爬取豆瓣读书并进行图形化分析

    python爬取豆瓣读书并进行图形化分析 豆瓣读书网页数据爬取并保存至csv 对数据进行分析并汇成图形 绘制散点图 图形效果展示 以下代码内容大多是团队小伙伴的杰作,而本人只是为了能让更多的人学习到知 ...

最新文章

  1. （13）中值滤波和双边滤波
  2. hdu4884 模拟
  3. Netty的引用计数对象
  4. java中this的含义_Javascript中的this的含义
  5. python编程设计_程序设计入门—Python
  6. 学javascript看什么书？
  7. max日期最大值为0_C语言编写程序输出10个整数中最小值或最大值
  8. Navigation + Tab Bar 常用组合框架
  9. Linux内核源码分析
  10. 大数据平台整体架构设计方案（PPT）
  11. 浅学一维傅里叶变换【下一章发布 ： 快速二维傅里叶变换FFT、快速二维傅里叶逆变换IFFT】
  12. tvm relay inline pass的调研
  13. HashMap源码分析与实现
  14. 基于html的明星网站
  15. 自动驾驶技术基础——GNSS
  16. CF1016C Vasya And The Mushrooms
  17. 挖掘肖特基二极管正向压降大小与温度变化有什么关系？
  18. BIOS的两种引导模式
  19. vb实现微信自动投票——开发一个自动化微信投票器【有源码】
  20. KETTLE 列转行

热门文章

  1. 计算机一级照片可以用红底吗,告别修图软件，教你用Excel给证件照更换多种底色！方便又省钱...
  2. 基于 Web SDK 实现视频通话场景 | 声网 SDK 教程
  3. excel使用小技巧-冻结窗格
  4. 杰里之BQB认证出现的一些问题分析篇
  5. 上半年要完成的博客51
  6. python语音识别（语音转文字）
  7. 将搜狗输入法默认的中文输入更改成英文
  8. 基于微信小程序的小程序记账本APP源码
  9. leetcode之Kth Largest Element in an Array
  10. Mysql三种存储引擎及区别