Python 爬虫抓取豆瓣读书TOP250

# -*- coding:utf-8 -*-
#  author: yukun
import requests
from bs4 import BeautifulSoup# 发出请求获得HTML源码的函数
def get_html(url):# 伪装成浏览器访问headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}resp = requests.get(url, headers=headers).textreturn resp# 解析页面，获得数据信息
def html_parse():# 调用函数，for循环迭代出所有页面for url in all_page():# BeautifulSoup的解析soup = BeautifulSoup(get_html(url), 'lxml')# 书名alldiv = soup.find_all('div', class_='pl2')names = [a.find('a')['title'] for a in alldiv]# 作者allp = soup.find_all('p', class_='pl')authors = [p.get_text() for p in allp]# 评分starspan = soup.find_all('span', class_='rating_nums')scores = [s.get_text() for s in starspan]# 简介sumspan = soup.find_all('span', class_='inq')sums = [i.get_text() for i in sumspan]for name, author, score, sum in zip(names, authors, scores, sums):name = '书名：' + str(name) + '\n'author = '作者：' + str(author) + '\n'score = '评分：' + str(score) + '\n'sum = '简介：' + str(sum) + '\n'data = name + author + score + sum# 保存数据f.writelines(data + '=======================' + '\n')# 获得所有页面的函数
def all_page():base_url = 'https://book.douban.com/top250?start='urllist = []# 从0到225，间隔25的数组for page in range(0, 250, 25):allurl = base_url + str(page)urllist.append(allurl)return  urllist# 文件名
filename = '豆瓣图书Top250.txt'
# 保存文件操作
f = open(filename, 'w', encoding='utf-8')
# 调用函数
html_parse()
f.close()
print('保存成功。')

Python 爬虫抓取豆瓣读书TOP250相关推荐

python爬虫爬取豆瓣读书Top250
python爬虫爬取豆瓣读书Top250 话不多说,直接上代码! from urllib.request import urlopen, Request from bs4 import Beautif ...
Python爬虫 - 爬取豆瓣读书TOP250电子书
1.爬取思路访问豆瓣读书top250,并提取书籍名称. 把提取的书籍名称,放到搜书网站(本文使用的是熊猫搜书). 把搜索的结果保存到本地.(底部有保存的文本文件,需要自提) 2.重点解析 1.豆瓣翻 ...
编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法
这篇文章主要介绍了编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法,用到了Python的urllib和urllib2模块,需要的朋友可以参考下抓取豆瓣电影TOP100 一.分析豆瓣top ...
Python爬虫爬取豆瓣电影TOP250
Python爬虫爬取豆瓣电影TOP250 最近在b站上学习了一下python的爬虫,实践爬取豆瓣的电影top250,现在对这两天的学习进行一下总结主要分为三步: 爬取豆瓣top250的网页,并通过 ...
Java爬虫抓取豆瓣读书信息
要求: Java爬虫抓取豆瓣读书信息中关于"编程,算法,互联网"评分最高的前100本书(要求评论数量大于1000) 实现思路: 1.通过手动打开豆瓣读书的主页面 https://b ...
python爬取豆瓣读书_用python+selenium抓取豆瓣读书中最受关注图书并按照评分排序...
抓取豆瓣读书中的(http://book.douban.com/)最受关注图书,按照评分排序,并保存至txt文件中,需要抓取书籍的名称,作者,评分,体裁和一句话评论方法一:#coding=utf-8 ...
Python爬虫爬取豆瓣读书
最近用Python写了个豆瓣读书的爬虫玩,方便搜罗各种美美书,分享给大家实现功能: 1 可以爬下豆瓣读书标签下的所有图书 2 按评分排名依次存储 3 存储到Excel中,可方便大家筛选搜罗,比如筛选 ...
Python爬虫爬取豆瓣电影Top250
爬虫爬取豆瓣Top250 文章目录爬虫爬取豆瓣Top250 完整代码第一步获取整个网页并以html来解析正则表达式来匹配关键词所有信息写入列表中存入Excel中效果如图本文学习自B站UP ...
python爬虫爬取豆瓣读书
python的课程设计,我爬取的是豆瓣的图书设计题目: 豆瓣读书的Python爬虫一.需求分析由于豆瓣上的图书良莠不齐,很难一下选择适合我们的图书,所以我想通过Python的爬虫程序,实现对豆 ...

Python 爬虫抓取豆瓣读书TOP250

Python 爬虫抓取豆瓣读书TOP250相关推荐

最新文章

热门文章

Python 爬虫 抓取豆瓣读书TOP250

Python 爬虫 抓取豆瓣读书TOP250相关推荐

最新文章

热门文章

Python 爬虫抓取豆瓣读书TOP250

Python 爬虫抓取豆瓣读书TOP250相关推荐