python爬取豆瓣图书Top250

平台

python3.5
windows 10

目标结构

最近想学习一下python爬虫，所以目标定在豆瓣读书top250。结构简单，没有js加载的内容等，感觉比较适合入门新手来爬取。
首先看一下top250的网页结构，chrome浏览器，通过F12查看。

可以看到每本书的条目，对应的网页里是一个table的标签。继续点开箭头，可以看到一本书中具体的内容结构：

准备爬取的内容主要是书名、别名、信息、评分、人数、描述
以《追风筝的人》为例：
书名：追风筝的人
别名：The Kite Runner
信息：[美] 卡勒德·胡赛尼 / 李继宏 / 上海人民出版社 / 2006-5 / 29.00元
评分：8.8
人数：259215
描述：为你，千千万万遍

爬取

主要使用了三个python库，requests，lxml，BeautifulSoup
requests库主要是获取网页的内容和结构
lxml库用来解析网页
BeautifulSoup则是用来抽取网页中的文本信息

贴上代码：

#!/usr/bin/env python
# encoding: utf-8import re
import requests
from bs4 import BeautifulSoupdef book(target_url):books = []book = requests.get(target_url) #使用requests返回网页的整体结构soup = BeautifulSoup(book.text, 'lxml') # 使用lxml作为解析器，返回一个Beautifulsoup对象table = soup.findAll('table', {"width": "100%"}) #找到其中所有width=100%的table标签），即找到所有的书for item in table: #遍历table，一个item代表一本书name = item.div.a.text.strip() #找到书名r_name = name.replace('\n', '').replace(' ', '') #通过看网页的HTML结构，可以发现书名后是有换行以及空格的，将这些全部通过replace替换去除tmp2 = item.div.span  #判断是否存在别名if tmp2:name2 = tmp2.text.strip().replace(':', '') #因为是通过div.span判断别名 有些书的别名前面有个冒号，比如《三体系列》else:name2 = r_name #无别名就使用原始的名称url = item.div.a['href'] #获取书的链接info = item.find('p', {"class": "pl"}).text #获取书的信息score = item.find('span', {"class": "rating_nums"}).text.strip() #获取分数nums = item.find('span', {"class": "pl"}).text.strip() # 获取评价人数num = re.findall('(\d+)人评价', nums)[0]  # 通过正则取具体的数字if item.find('span', {"class": "inq"}): # 判断是否存在描述desc = item.find('span', {"class": "inq"}).text.strip()else:desc = 'no description'books.append((r_name, name2, url, info, score, num, desc)) #以元组存入列表return books #返回一页的书籍for n in range(10):url1 = 'https://book.douban.com/top250?start=' + str(n*25) #top250的网页，每页25本书，共10页，“start=”后面从0开始，以25递增tmp = book(url1)with open('booktop250.xls', 'a', encoding='utf-8') as d: #新建一个文件存放数据，模式取'a'，表示在后面追加；编码一定要写上，因为win下新建文件，默认是gbk编码，但是前面返回的结构是unicode的，会报编码错误for i in tmp:print(i[0]+"\t"+i[1]+"\t"+i[2]+"\t"+i[3]+"\t"+i[4]+"\t"+i[5]+"\t"+i[6], file=d)

最后保存的文件是xls文件，直接打开的话，会是乱码。解决方法是，用记事本这个xls文件，然后另存为的时候，编码方式选ANSI，这样就能打开xls文件了。当然如果直接使用txt文件保存的话，就不需要这么麻烦。
最后的抓取的结果如下：

补充材料

Requests文档
BeautifulSoup文档
均为中文