豆瓣电影短评总数多少不一，但是在短评区只能显示500条评论。

例如《囧妈》，评论数达到117120条。

(当我打开爬到的评论时，还以为自己代码有问题，检查代码未发现问题。用手机登录豆瓣APP发现，电影短评并不是全部显示的。)

所以并不是代码的问题。虽然500条评论有点少，但在写爬虫过程中还是遇到各种bug，寻找解决办法的时候也学习到了很多。

Show Time：导入模块

import requests

from bs4 import BeautifulSoup

import csv

requests和bs4用来获取、解析网页，csv用来储存数据。

2. 获取页面

def download_pages(url):

headers = {

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3724.8 Safari/537.36',

'Connection': 'keep-alive',

'cookie':'ll="118193"; bid=2-BKkylYZuE; trc_cookie_storage=taboola%2520global%253Auser-id%3D30398b51-ac04-4354-a17e-16f2af9e020b-tuct5157dfe; __gads=ID=f515bc7d9a7a4fd5:T=1578891400:S=ALNI_Maz4pjSB_NxavWDa1fB5IMFQF1MfA; push_doumail_num=0; __utmv=30149280.15092; _vwo_uuid_v2=D300DC12A399D26584AA232FF9F32FBD9|18b180187a8d01fcd0187f0fc2ea37e9; douban-fav-remind=1; douban-profile-remind=1; __yadk_uid=UCh7sYG2OTrqPGlmWgSOlzoYHK4iG3AM; ct=y; vtd-d="1"; push_noty_num=0; ps=y; ap_v=0,6.0; __utma=30149280.1428623878.1578891289.1580356790.1580385922.20; __utmc=30149280; __utmz=30149280.1580385922.20.5.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/passport/login; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1580386771%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.4cf6=*; __utma=223695111.1175745079.1578891388.1580356790.1580386771.16; __utmb=223695111.0.10.1580386771; __utmc=223695111; __utmz=223695111.1580386771.16.9.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/; __utmb=30149280.10.10.1580385922; dbcl2="150923360:Fs2wu4qEzLc"; ck=pGFy; _pk_id.100001.4cf6=995f558cb7f52f20.1578891388.16.1580387779.1580360895.'

,'Referer': 'https://accounts.douban.com/passport/login'

}

r = requests.get(url, headers=headers).content

return r

设置请求头，获取并返回网页内容。

Attention：

刚开始只设置了user-agent，在运行的时候，发现只能读取11页的评论(11*20=220条评论)，读取第12页评论时报错。在浏览器中(未登录的状态下)翻到第11页评论，再次点击‘后页’时，出现需要登录的提示。于是在浏览器中登录，复制cookie，粘贴至请求头中。获取Headers内容

3. 获取需要内容，并翻页

def parse_html(html):

soup = BeautifulSoup(html, features='lxml')

page = soup.find('div', attrs={'class':'mod-bd', 'id':'comments'})

comment_list = []

for i in page.find_all('div', attrs={'class':'comment'}):

info = i.find('span', attrs={'class':'comment-info'})

name = info.find('a').getText()

text = i.find('span', attrs={'class':'short'}).getText()

time = i.find('span', attrs={'class':'comment-time'}).getText()

x = info.find('span')

if x.getText() == '看过':

star = x.find_next_sibling('span')['title']

comment_list.append({'ID': name,

'Time': time,

'star': star,

'comments':text})

navi = page.find('div', attrs={'id':'paginator', 'class':'center'})

next_page = navi.find('a', attrs={'class':'next'})

if next_page:

next_url = URL + next_page['href']

print(next_url)

return comment_list, next_url

else:

return comment_list, None

代码详解：

先观察网页元素，用for循环找到每一用户。

需要的抓取的数据是用户名、评级、评论时间、短评。

用户名、短评、时间都可以用getText()直接获取，但是评级，我用了

x.find_next_sibling('span')['title']

因为在评级那一列除了span，没有别的可以定位的元素，获取所需数据后用append加进comment_list列表。

翻页问题：

观察网页元素，可以看到在

page.find('div', attrs={'id':'paginator', 'class':'center'})

后有三条url(首页、前页、后页)，我需要后页，后页中有元素class='next'，于是可以定位到指向后页的url。最后一页

当翻到最后一页不能再继续翻页了，page.find('div', attrs={'id':'paginator', 'class':'center'}) 后无元素class='next'，所以若可以获取指向后页的url则与主url拼接，并返回next_page的url，否则返回None。

navi = page.find('div', attrs={'id':'paginator', 'class':'center'})

next_page = navi.find('a', attrs={'class':'next'})

if next_page:

next_url = URL + next_page['href']

print(next_url)

return comment_list, next_url

else:

print('this is the last page')

return comment_list, None

4. 储存数据

def main():

url = URL

with open('comments.csv','wt', newline='', encoding='utf_8_sig') as comments:

cw = csv.DictWriter(comments, fieldnames=['ID', 'Time', 'star','comments']) #fieldnames必须与dict里的keys相同

cw.writeheader() #先写header避免header被多次写入。

while url:

html = download_pages(url)

comment_list, url = parse_html(html)

cw.writerows(comment_list)

储存数据比较简单，需要注意和我犯过的错误都注释在代码里了。用了while循环，若在上一步中返回了url，就循环两个函数并继续写入数据，若返回None就结束了。

抓取的部分《囧妈》短评如图所示，500条。(第501行里的star是#######，是因为该用户没有评分。)

整理下来发现还是比较简单的，但是从刚刚开始到最后无报错顺利抓取500条短评还是废了零基础的我一些时间的。

最后总结两点：python官方documentation和标准库的查找使用。有时候报错或是不知道该如何继续下去了，在网上找“轮子”也解决不了，可以去看doc，里面有各种方法，要善用。

细心。有时候频频报错或是抓取的数据有问题，最后发现却是细节导致的。

零基础学习Python，方向是数据分析。有不周到的地方，希望同学们能提出来。

谢谢阅读。