1 piaofang.py
 2 #-*- coding:utf-8 -*-
 3 '''
 4 该脚本可以抓取猫眼票房网站上的电影票房数据
 5 使用的数据为豆瓣上爬取的电影，见文件：doubanMovies_IMDBScore.csv
 6 '''
 7 import requests
 8 import lxml.html
 9 import time
10 from pandas import DataFrame
11 import pandas as pd
12
13 headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}
14 def getDoc(url):
15     resp=requests.get(url,headers=headers)  #得到网页响应
16     time.sleep(0.1)   #暂停0.1秒，防止抓取太频繁被封IP
17     content=resp.text  #获取相应内容
18     doc = lxml.html.fromstring(content)
19     return doc
20
21 #函数：输入为电影名字，输出为该电影在猫眼网上的票房
22 #说明：如果猫眼上没有该电影的信息，则标记：notfound
23 #如果猫眼上可以搜到该电影，但是没有票房数据，则标记：withoutData
24 def getPiaofang(title):
25     #根据电影名字形成猫眼上该电影的搜索结果页面
26     url = 'http://pf.maoyan.com/search?_v_=yes&key='+title
27     #由于编码格式比较混乱，所以此处尝试两种编码格式
28     try:
29         url=url.decode('gbk').encode('utf-8')
30     except:
31         url=url.encode('utf-8')
32     finally:
33         tempList=[]  #初始化函数中暂时用到的列表
34         doc=getDoc(url)  #解析网页
35         #抓取到的后缀名，可能为'万票房'、'人想看'、'暂无票房数据'
36         temp_back=doc.xpath('//*[@id="search-list"]/article/em/text()')
37         #某一部电影搜索结果页面，由于会有名字相近的电影会被搜索出来，所以要进行判断
38         temp_name=doc.xpath('//*[@id="search-list"]/article/div/text()')
39         if temp_name!=[]:  #首先结果页抓到的电影列表要不为空，即能搜索到该电影
40             #如果为空，则标记为'notfound'
41             for i in range(len(temp_name)):  #对搜索出的电影名字进行判定，取出与搜索的电影名字完全相同的一项
42                 temp1=(temp_name[i]).encode('utf-8')
43                 if temp1==title:  #如果循环到第i个名字，找到了与搜索的电影名字完全相同的一项，则接着对数字的后缀进行判断
44                     #如果没有找到与搜索的电影的名字完全相同的一项，则标记为'withoutData'
45                     temp2=unicode(temp_back[i]).encode('utf-8')
46                     if temp2=='万票房':  #如果后缀名为'万票房'，则该数据可能就是我们要找的数据
47                         temp_num = doc.xpath('//*[@id="search-list"]/article['+str(i+1)+']/em/span/text()')
48                         if temp_num!=[]:  #如果可以抓取到数据，则转换为int类型后的数据即为所找的票房数据
49                             #如果抓取不到，则标记为'withoutData'
50                             print int(temp_num[0])
51                             tempList.append(int(temp_num[0]))
52                         else:
53                             tempList.append('withoutData')
54                     else:
55                         tempList.append('withoutData')
56                 else:
57                     tempList.append('withoutData')
58         else:
59             tempList.append('notfound')
60         return tempList[0]
61
62 df=pd.read_csv('doubanMovies_IMDBScore.csv')  #打开豆瓣上爬取到的电影列表文件
63 piaofangList=[]  #初始化票房列表
64 errorNum=0  #初始化错误数
65 for i in range(0,len(df)):
66     try:
67         temp=df.ix[i,'title']
68         temp=temp.decode('gbk').encode('utf-8')  #进行编码格式转换
69         piaofangList.append(getPiaofang(temp))  #调用getPiaofang函数，得到票房数据
70     except:
71         errorNum+=1  #出错，则错误数加1
72         piaofangList.append('error')  #将票房数字标记为'error'
73         print 'error No.',errorNum
74     finally:
75         df1=DataFrame({'title':df.ix[:i,'title'],'piaofang':piaofangList})
76         df1.to_csv('test.csv',index=False)
77         print i+1  #打印标记