python之简单爬虫（爬取豆瓣出版社）

环境准备：
1.python 3.0+
2.豆瓣出版社网址 https://read.douban.com/provider/all

ok，开始我们的实验
1.打开浏览器，输入网址，右击网页，查看网页源码，这里我用的是谷歌浏览器

2.看上图我们发现许多出版社名称，接下来我们查找一个出版社名称，例如重庆大学
观察下图我们发现它们都在一个div标签内，且class=”name” ,所以，我们开始编写代码

3.代码

import urllib.request
import re
import os
url = "https://read.douban.com/provider/all"  #获取url
pat = '<div class="name">(.*?)</div>'  #匹配规则
data = urllib.request.urlopen(url).read().decode("utf-8") #读取网页的内容并解码
relut = re.compile(pat).findall(data)       #会返回一个列表
file = open(r"C:\Users\123\豆瓣出版社.txt", "w", encoding="utf-8")  #这里我定义了一个自己的存储路径，大家可以根据自己的路径修改
for i in relut:file.write(i)        #将出版社名称写入文件file.write("\n")    #表示换行

4.最后在你的存储目录下打开文件就可以查看内容了！

python之简单爬虫（爬取豆瓣出版社）相关推荐

编写Python爬虫爬取豆瓣出版社列表并写入文件
爬取豆瓣出版社列表并写入文件本文介绍了如何编写Python程序从网址'https://read.douban.com/provider/all' 爬取豆瓣出版社列表并写入文件: 程序 import ...
Python爬虫-爬取豆瓣出版社信息
爬取豆瓣出版社信息代码如下: # 爬取豆瓣出版社 import urllib.request import reurl = 'https://read.douban.com/provider/all ...
Python Scrapy简单爬虫-爬取澳洲药店，代购党的福音
身在澳洲,近期和ld决定开始做代购,一拍即合之后开始准备工作.众所周知,澳洲值得买的也就那么点东西,奶粉.UGG.各种保健品,其中奶粉价格基本万年不变,但是UGG和保健品的价格变化可能会比较大.所以, ...
Python爬虫爬取豆瓣电影TOP250
Python爬虫爬取豆瓣电影TOP250 最近在b站上学习了一下python的爬虫,实践爬取豆瓣的电影top250,现在对这两天的学习进行一下总结主要分为三步: 爬取豆瓣top250的网页,并通过 ...
python爬虫爬取豆瓣电影排行榜并通过pandas保存到Excel文件当中
我们的需求是利用python爬虫爬取豆瓣电影排行榜数据,并将数据通过pandas保存到Excel文件当中(步骤详细) 我们用到的第三方库如下所示: import requests import pan ...
使用python的scrapy框架简单的爬取豆瓣读书top250
使用python的scrapy框架简单的爬取豆瓣读书top250 一.配置scrapy环境 1. 配置相应模块如果没有配置过scrapy环境的一般需要安装lxml.PyOpenssl.Twisted ...
python爬取豆瓣短评_爬虫-爬取豆瓣短评
爬虫-爬取豆瓣短评啥是爬虫? 按照一定的规则,自动地抓取互联网信息的程序. 为啥要用爬虫? 可以利用爬虫自动地采集互联网中的信息,采集回来后进行相应的存储或处理,在需要检索某些信息的时候,只需在 ...
python爬虫 — 爬取豆瓣最受关注图书榜
一个简单的爬取豆瓣最受关注图书榜的小爬虫,在爬取相关信息后,将结果保存在 mongo 中整个流程分为以下几步: (1)构造url (2)分析网页 (3)编写程序,提取信息解析,将分别介绍以上几步 ...
python爬虫豆瓣电影评价_使用爬虫爬取豆瓣电影影评数据Python版
在使用爬虫爬取豆瓣电影影评数据Java版一文中已详细讲解了爬虫的实现细节,本篇仅为展示Python版本爬虫实现,所以直接上代码完整代码爬虫主程序 # 爬虫启动入口 from C02.data ...
Python爬虫爬取豆瓣电影评论内容，评论时间和评论人
Python爬虫爬取豆瓣电影评论内容,评论时间和评论人我们可以看到影评比较长,需要展开才能完整显示.但是在网页源码中是没有显示完整影评的.所以我们考虑到这部分应该是异步加载的方式显示.所以打开网页的 ...

python之简单爬虫（爬取豆瓣出版社）

python之简单爬虫（爬取豆瓣出版社）相关推荐

最新文章

热门文章