在京东页面查找（例如：oppo r15）,选择第一个商品点击进入。

点击第一个评论页面：

点击第二个评论页面：

第三个评论页面：

发现第二页和第三页的网址是一样的，我们可以推测，访问第一页评论的网址也可以和2,3一样。

我们再次点击第一页：

发现确实如此

对于这种网站要爬取信息是比较难的（评论翻页，但是网址不变），可能评论信息是异步加载，需要抓包找到位置。

我们按下F12，进入浏览器的开发者模式（我用的是谷歌浏览器），选择其中的几个选项。

上面有很多信息，我们需要找到评论数据。之后点击禁止符号，意思是clear清除原有信息

选择评论的第二页：下面出现了一个文件

这就是我们需要的评论数据和网页地址

https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv1&productId=6790503&score=0&sortType=5&page=1&pageSize=10&isShadowSku=6560154&rid=0&fold=1

复制到浏览器看到评论数据

进入页面点击第3个页面：

https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv1&productId=6790503&score=0&sortType=5&page=2&pageSize=10&isShadowSku=6560154&rid=0&fold=1

观察两个页面的规律：只有page参数在变化

https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv1&productId=6790503&score=0&sortType=5&page=1&pageSize=10&isShadowSku=6560154&rid=0&fold=1

https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv1&productId=6790503&score=0&sortType=5&page=2&pageSize=10&isShadowSku=6560154&rid=0&fold=1

改变：page=3复制到浏览器参看

https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv1&productId=6790503&score=0&sortType=5&page=3&pageSize=10&isShadowSku=6560154&rid=0&fold=1

现在就找到了需要爬虫的评论数据，观察一个页面信息

从数据可以看到里面的评论数据和用户评分。这是我们需要的数据了。

实验代码如下：

import os
import re
import pandas as pd
import requestsif os.path.exists('comment.txt'):os.remove('comment.txt')
else:f = open('comment.txt','a')count = 0
url = 'https://sclub.jd.com/comment/productPageComments.action?callback=\fetchJSON_comment98vv1&productId=6790503&score=0&sortType=5&page='
url2 = '&pageSize=10&isShadowSku=6560154&rid=0&fold=1'for i in range(0,10):#输入需要爬虫的页面数try:html = requests.get(url + str(i) + url2)html = html.text#使用正则提取评论信息content1 = re.findall(r'"guid".*?,"content":(.*?),',html)#对提取的评论信息进行去重content2=[]temp = ''for c in content1:if temp != c:content2.append(c)temp = c#使用正则提取score字段信息score = re.findall(r'"referenceImage".*?,"score":(.*?),',html)for s,c in zip(score,content2):count += 1c = c.replace('\\n','')f.write(str(count)+'\t' + str(s)+'\t' + c)f.write('\n')except:print('爬取第'+str(i)+'页出现问题')
#        continuebreak
f.close()