python爬取豆瓣读书,python爬取数据豆瓣读书

xpath爬取脚本：

from urllib import request

from lxml import etree

base_url=“https://tieba.baidu.com/f?kw=nba”

response=request.urlopen(base_url)

html=response.read().decode(‘utf-8’)

htmls=etree.HTML(html)

titles=htmls.xpath(’//div[@class=“threadlist_lz clearfix”]/div/a/@title’)

一开始在父级div没找到，因此再上一级找爷爷辈div，然后加个/div回到父级

//表示在整个html文档寻找，@表示寻找类名，再加一个/div表示它的下一级

print(titles)发现输出的是一个列表

for i in titles:

print(i)

为啥不直接找呢？

因为没有class标签，所以不好找，所以找它的父亲，看套再哪个class里

//div[@class=“pl2”]/a/@title

//p[@class=“pl”]/text()作者

P标签下用text找

//span[@class=“rating_nums”]/text()评分

短评

//span[@class=“inq”]/text()

//div[@class=“movie-content”]/a/img/@src

图片

#爬取豆瓣读书top250

建立一个文件io对象

fp=open(’./douban.txt’,‘a’,encoding=‘utf-8’)

采集源码

def index():

for i in range(0,226,25):#制作页码

# print(i)

base_url=‘https://book.douban.com/top250?start={0}’.format(i)

# print(base_url)

#抓取源码阶段

response=request.urlopen(base_url)

html=response.read().decode(‘utf-8’)

#处理源码(用etree将html转换为xml

htmls=etree.HTML(html)#就可以用xpath语言写了

clean_sto(htmls)

清洗数据并保存

def clean_sto(htmls):

titles=htmls.xpath(’//div[@class=“pl2”]/a/@title’)

# print(titles)发现是一个一个的列表

for i in titles:

# print(i)

fp.write(i+’\n’)

if name==‘main’:

index()

fp.close()

python爬取豆瓣读书,python爬取数据豆瓣读书相关推荐

5000字大数据时代读书笔记_大数据时代读书笔记
大数据时代读书笔记 [篇一:大数据时代读书笔记] 大数据时代 -- 读书笔记一.引论 1. 大数据时代的三个转变: 1. 可以分析更多的数据,处理和某个现象相关的所有数据,而不是随机采样 2. 不 ...
5000字大数据时代读书笔记_大数据时代读书笔记
大数据时代维克托·迈尔·舍恩伯格首先作者抛出了大数据时代处理数据理念上的三大转变:  要全体不要抽样. 首先,要分析与某事物相关的所有数据,而不是依靠分析少量的数据样本.全数据模式,样本 = ...
使用python的scrapy框架简单的爬取豆瓣读书top250
使用python的scrapy框架简单的爬取豆瓣读书top250 一.配置scrapy环境 1. 配置相应模块如果没有配置过scrapy环境的一般需要安装lxml.PyOpenssl.Twisted ...
python爬虫——使用代理和xpath爬取豆瓣读书
根据豆瓣读书的所有标签自动创建文件夹,使用代理防止被反爬.但是我的代理好像是假的,还是被反爬了-通过设置cookie爬取,但是爬取一定数量后需要在浏览器手动进行验证码输入-总的来说,代码写的很麻烦 i ...
Python爬虫开源项目代码（爬取微信、淘宝、豆瓣、知乎、新浪微博、QQ、去哪网等等）...
文章目录 1.简介 2.开源项目Github 2.1.WechatSogou [1]– 微信公众号爬虫 2.2.DouBanSpider [2]– 豆瓣读书爬虫 2.3.zhihu_spider [3 ...
Python爬虫开源项目代码（爬取微信、淘宝、豆瓣、知乎、新浪微博、QQ、去哪网等等）
文章目录 1.简介 2.开源项目Github 2.1.WechatSogou [1]– 微信公众号爬虫 2.2.DouBanSpider [2]– 豆瓣读书爬虫 2.3.zhihu_spider [3 ...
23个Python爬虫开源项目代码：爬取微信、淘宝、豆瓣、知乎、微博
今天为大家整理了32个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心,所有链接指向GitHub. 1.WechatSogou – 微信公众号爬虫基于搜狗微信搜 ...
23个Python爬虫开源项目代码：爬取微信、淘宝、豆瓣、知乎、微博等
来源:全球人工智能作者:SFLYQ 今天为大家整理了23个Python爬虫项目.整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快 1.Wec ...
推荐23个Python爬虫开源项目代码：爬取微信、淘宝、豆瓣、知乎、微博等
点击上方 Python知识圈,选择"设为星标" 回复"1024"获取编程资料阅读文本大概需要 5 分钟. 今天为大家整理了23个Python爬虫项目.整理的原 ...
python项目开发案例集锦豆瓣-Python第三个项目：爬取豆瓣《哪吒之魔童降世》短评...
前面爬完网站信息图片之后,今天的又有了个小目标,最近的电影哪吒很火,去豆瓣上看了一下影评,决定了今天主要是实现Python第三个项目:爬取豆瓣<哪吒之魔童降世> 短评,然后下载在exce ...

python爬取豆瓣读书,python爬取数据豆瓣读书

python爬取豆瓣读书,python爬取数据豆瓣读书相关推荐

最新文章

热门文章