1 from bs4 import BeautifulSoup
 2 import requests
 3 import re,json
 4 import pandas as pd
 5 import time
 6
 7 #京东小米官方网站爬取小米6X的评论
 8 #动态网页爬取
 9
10 def getHtml(url,data): #只输入URL的主体部分，后面的参数用下面的字典附加上
11     try:
12         r=requests.get(url,params=data)
13         r.raise_for_status()
14         r.encoding=r.apparent_encoding
15         return r.text
16     except:
17         print('爬取失败')
18
19 def getComment(html):#获得一页的评论
20     commentList=[]
21     i = json.dumps(html)  # 将页面内容编码成json数据，（无论什么格式的数据编码后都变成了字符串类型str）
22     j = json.loads(i)  # 解码，将json数据解码为Python对象
23     # print(type(j))
24     comment = re.findall(r'{"productAttr":.*}', j)  # 对网页内容筛选找到我们想要的数据，得到值为字典的字符串即'{a:1,b:2}'
25     #print(comment)
26     comm_dict = json.loads(comment[0])  # 将json对象obj解码为对应的字典dict
27     # print(type(comm_dict))
28     commentSummary = comm_dict['comments']  # 得到包含评论的字典组成的列表
29     for comment in commentSummary:  # 遍历每个包含评论的字典，获得评论和打分
30         c_content = ''.join(comment['content'].split())  # 获得评论,由于有的评论有换行，这里用split（）去空格，换行，并用join（）连接起来形成一整段评论，便于存储
31         score = comment['score']  # 用户打分
32         # print(score)
33         # print(c_content)
34         commentList.append([score,c_content])
35     return commentList
36
37 '''获得多页评论'''
38 def conments(url,num):#url主体和爬取网页的数量
39     data = {'callback': 'fetchJSON_comment98vv6708',  # 调整页数page
40             'productId': '7437756',
41             'score': 0,
42             'sortType': 5,
43             'page': 0,
44             'pageSize': 10,
45             'isShadowSku': 0,
46             'rid': 0,
47             'fold': 1
48             }
49     comments=[]
50     for i in range(num+1):
51         try:#防止网页提取失败，使爬取终断，直接跳过失败页，继续爬取
52             data['page']=i
53             html = getHtml(url, data)
54             comment = getComment(html)
55         except:
56             continue
57         comments+=comment
58         print('页数',i)
59         time.sleep(3)#由于网站反爬虫，所以每爬一页停3秒
60         # if i/20==0:
61         #     time.sleep(5)
62     return comments
63
64 if __name__ =='__main__':
65     time_start = time.time()
66     url = 'https://sclub.jd.com/comment/productPageComments.action?'
67     comm=conments(url,500)
68     print('共计%d条评论'%(len(comm)))#打印出总共多少条评论
69     name=['score','comment']
70     file=pd.DataFrame(columns=name,data=comm)
71     file.to_csv('D:/machinelearning data/crawlerData/mi6x_JD500.csv',index=False)
72     time_end = time.time()
73     print('耗时%s秒' % (time_end - time_start))