爬虫练手小项目：豆瓣高分图书TOP100

import requests
import re
from requests.exceptions import RequestException
import json
import timedef get_one_page(url):headers ={'User-Agent':'Mozilla/5.0 (Macintosh;Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}response = requests.get(url,headers=headers)if response.status_code == 200:return response.textreturn Nonedef parse_one_page(html,offset):pattern = re.compile('<div.*?post.*?img.*?src="(.*?)".*?</div>.*?title.*?_blank">(.*?)</a>.*?rating_nums">(.*?)</span>',re.S)items = re.findall(pattern,html)index = offsetfor item in items:index = index + 1yield {'index':index,'image':item[0],'title':item[1].strip(),'score':item[2]}def write_to_file(content):with open("doubandushu.txt",'a',encoding='utf-8') as f:#print(type(json.dumps(content)))f.write(json.dumps(content,ensure_ascii=False)+'\n')def main(offset):url = "https://www.douban.com/doulist/45004834/?"+'start='+str(offset)+'&sort=time&sub_type='html = get_one_page(url)for item in parse_one_page(html,offset):print(item)write_to_file(item)if __name__=='__main__':for i in range(0,4):main(offset = i*25)time.sleep(1)

* 注：1.本项目模仿崔庆才著的《Python3网络爬虫开发实践》3.4节抓取猫眼电影排行；2.博主能力有限，无法写出合适的正则表达式抓取书籍作者信息，在此请教其他网友；

爬虫练手小项目：豆瓣高分图书TOP100相关推荐

Golang练手小项目系列
Golang练手小项目系列本系列整理了10个工作量和难度适中的Golang小项目,适合已经掌握Go语法的工程师进一步熟练语法和常用库的用法. golang练手小项目系列(1)-位向量 golang练 ...
ssm练手小项目_20 个 JavaScript+Html+CSS 练手的小项目
前言: 最近在 GitHub 上发现了一个 vanillawebprojects[1] 开源仓库,里面收集了 20 个 JavaScript+Html+CSS的练手项目,没有使用任何框架,可以让你从基 ...
台式小风扇（HTML+CSS+JS练手小项目）
台式小风扇(HTML+CSS+JS练手小项目) 功能介绍外观展示 HTML代码 CSS代码 JS代码总结功能介绍前段时间看到这样的风扇特效,感觉还挺好玩,就自己也写一个练练手. 风扇有四个档位 ...
数据结构练手小项目（AVL树、哈希表、循环链表、MySQL数据库）
文章目录前言正文(无删减) 我的想法(删减修改版) 数据导入与数据存储功能实现数据结构用户结构 SIM卡结构 AVL树数据结构哈希表结构数据表用户表 SIM卡表时间安排前言本月主 ...
html+css+js之20个练手小项目（一）
html+css+js之20个练手小项目(一)--Hangman 前言一.HTML 二.CSS 三.JS 前言前端新手练习,记录不迷失. 主要练习html和CSS布局以及JS. 来源github, ...
练手小项目，爬取3DM图片
博客原文:https://weweweha.com 1. 概述爬取3DM指定网页的游戏壁纸,并且通过多线程来加速爬取图片的速度. 2.使用库 request库用来1解析指定网页,re库用来搜 ...
c语言模拟器怎么打程序,C语言初学者练手小项目——万花模拟器
原标题:C语言初学者练手小项目--万花模拟器还记得小时候玩的万花尺么?好好玩,各种不同的点距能画出各种各样形状图形. C语言程序万花尺模拟函数功能:每隔5秒随机生成万花图形并自动保存作图参数以及 ...
练手小项目（2）-生活小助手--星座运势查询
上一篇内容练手小项目(2)-生活小助手今天星期一.趁着中午的歇息时间把第二个写出来星座运势,近期看看极客学院用聚合数据做了天气预报的视频教程,不好评价他.看他在后面的代码变更那么大,我就知道 ...
C# Socket网络编程（附赠练手小项目）
在公司花了两天的时间来研究Socket编程,感觉也还是学到了一点点皮毛,不过也还是有一点点的小成就. 配合Winform窗体界面,实现了简单的窗体间互相通信的小项目(可以互相发消息,服务器可以给客户端 ...

爬虫练手小项目：豆瓣高分图书TOP100

爬虫练手小项目：豆瓣高分图书TOP100

爬虫练手小项目：豆瓣高分图书TOP100相关推荐

最新文章

热门文章