python爬虫实战---爬取大众点评评论

python爬虫实战—爬取大众点评评论（加密字体）

1.首先打开一个店铺找到评论

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：101677771

2.分析网页

查看到下面有些字体经过加密处理刷新页面会发现每一次加密的字体是不一样的

3.发送请求获取数据

查看网页源代码查看所有css 发现这个css就是我们想要用的文件那么现在我们就要用代码来获取到这个css文件的urlCookie自行更换
代码实现：

class DownComment:def __init__(self):# 爬取数据cookie user—agentself.headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6"") AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36","Cookie": 'fspop=test; _lxsdk_cuid=1741e6d406ec8-07a55a88376aea-31657305-13c680-1741e6d406ec8; _lxsdk=1741e6d406ec8-07a55a88376aea-31657305-13c680-1741e6d406ec8; _hc.v=686b52bb-73c6-234a-0599-c881b393882d.1598238311; Hm_lvt_602b80cf8079ae6591966cc70a3940e7=1598238354; cityid=838; default_ab=index%3AA%3A3; switchcityflashtoast=1; s_ViewType=10; ll=7fd06e815b796be3df069dec7836c3df; ua=dpuser_7474971098; ctu=4cc4b902d60a40f51447c2d6d386233260a8f2e43bf520fb73056aa472dfbb35; aburl=1; Hm_lvt_dbeeb675516927da776beeb1d9802bd4=1598270129; Hm_lpvt_dbeeb675516927da776beeb1d9802bd4=1598270129; cy=1; cye=shanghai; dper=627d6236bc87ce08b3d5c48661e5572f504bcf9938fee451ebd4566d8234bc5b1ad10791c702986d1398b6a838a4e550619d42c3d68d02b0f53cf4ed5c38702b47d41ef5f7e7d368892b8be8a46b2eb844582afbcc419e5e28df0a92c1df589e; uamo=17643530928; dplet=7731f44d071e7840935794d1a9ae35d4; Hm_lpvt_602b80cf8079ae6591966cc70a3940e7=1598342331; _lxsdk_s=1742497507a-072-c5-68e%7C%7C766'}# 爬取大众点评的urlself.url = None# 页面返回的textself.text = None# css文件的内容self.css_content = None# css文件的urlself.css_url = None# 取出的字体文件的内容self.svg_content = None# 用来存储每一个字的映射关系的列表self.font_d_l = list()# 用来存储坐标映射self.position_l = list()# 字体位置self.position_list = list()# 数据self.data = list()def down_css(self):"""获取css文件:return:"""# 请求返回的textself.text = requests.get(self.url, headers=self.headers).text# 使用xpath取出所有link中的链接x = etree.HTML(self.text)css_list = x.xpath('//link/@href')self.css_url = 'https:' + str(re.findall('//s3plus\.meituan\.net.+?\.css', ' '.join(css_list))[0])

4.继续分析我们需要的东西

打开这个css文件发现上一个页面加密的字体的类在这个css文件中可以用查找到后面有对应的坐标

5.尝试在css中找寻字体文件

查询css文件中有没有我们想要的字体文件 command + f 或者 ctrl
+f 查询发现文件中有三个字体文件分别打开三个文件的url 发现只有一个字体映射文件是正确的

6.找出正确的字体文件

打开三个字体文件的url 发现正确的就是最多的也就是最大的一个文件我们不能凭着url来判断哪个字体文件更大所以要访问根据返回的数据来判断正确的文件是哪个接下来就要访问url来获取字体文件的内容然后将最大的字体文件内容存储起来方便替换

    def down_svg(self):"""下载字体文件:return:"""# css请求返回的textself.css_content = requests.get(self.css_url, headers=self.headers).text# 使用正则取出svg_list = re.findall(r"background-image: url\((.+?)\);", self.css_content)svg_url = ["https:{}".format(svg) for svg in svg_list]# 下载最大的svg文件length_d_l = list()[length_d_l.append({"len": len(requests.get(svg).text), "content": requests.get(svg).text}) for svg in svg_url]self.svg_content = str([x["content"] for x in length_d_l if x["len"] == max([i["len"] for i in length_d_l])][0])

7.由于是动态刷新将网页数据保存到本地并分析找到（x,y）和字体的映射关系

取出字体文件后可以在本地进行手动的查询摸索文字对应关系因为大众点评每一次刷新都是动态更改css或者svg文件内容包括每次刷新加密的字都不同所以将一个保存到本地根据本地这一个固定的来尝试尝试成功后动态获取经过多次尝试发现规律两个数字第一个数字除以14
就是文字的下标
此图数字为-406 除以 14 下标就是29 第二个数字就在两个y值中间根据规律匹配出所有文字的映射关系

！！！此段代码只是为了保存数据方便分析和爬取数据的代码无关！！！

        with open("xx.html", "w")as f:f.write(self.text)with open('xx.css', "w") as f:f.write(self.css_content)with open("font.svg", "w") as f:f.write(self.svg_content)

8.根据找到的规律取出字体文件中所有字体还有位置存储到字典中

用正则在字体文件中取出数字的x值（即在本行的下标）y值用一个元组来存储判断时获取加密文字的坐标y值是否在元组两个值中间即可
取出所有的数据保存到类中的字典
代码实现：

    def font_mapping(self):"""字体映射:return:"""# 使用正则取出字font_list = re.findall(r'<text x=".*" y="(.*)">(.+?)</text>', self.svg_content)# 循环并将映射添加到列表中for num, i in enumerate(font_list):for x, v in enumerate(i[1]):self.font_d_l.append({"value": v,"x": x,"y": (int(font_list[num - 1][0]) if font_list[num - 1][0] != '2495' else 0, int(i[0]))})

存储后的字典格式为 value值为字体内容 x为下标 y值为一个元组用来存储在哪两个数字之间

9.现在开始获取所有css文件中的类对应的坐标

依旧使用正则来取出所有的数据查询到的数据再存储到类中的一个字典
代码实现：

    def position_mapping(self):'''位置映射:return:'''all_ = re.findall("\.(.+?){background:-(.+?)\.0px -(.+?)\.0px;}", self.css_content)[self.position_l.append({"class": i[0],"x": i[1],"y": i[2],}) for i in all_]

字典的格式为：

10.取出所有加密的字

现在取出网页中被加密的字体的class属性使用xpath取出就可以
代码实现：

    def all_font_position(self):"""所有字体位置:return:"""x = etree.HTML(self.text)self.position_list = x.xpath('//svgmtsi/@class')

11.解密文字

因为现在已经取出了两个字典一个有加密字体的class属性还有字体的x,y的值另一个字典中有这个加密字体对应的文字刚刚我们也取出来所有被加密文字的class属性只需要循环判断取出对应的字就可以来
代码实现：

    def find_font(self, x, y):'''查询具体字体:param x::param y::return:'''# 根据坐标返回对应的字体new_x = int(x) / 14for i in self.font_d_l:if int(i.get("x")) == int(new_x) and i.get('y')[0] < int(y) < i.get('y')[1]:return i.get('value')

12.替换所有加密文字为解密后文字

将原来保存的这个网页的text内容中加密的文字替换为正常的文字
代码实现：
这段代码在最后的运行方法中就是主方法中

        str_text = str(self.text)for position in self.position_list:for x in self.position_l:if x.get("class") == position:str_text = str_text.replace('<svgmtsi class="{}"></svgmtsi>'.format(position),str(self.find_font(x.get('x'), x.get('y')))).replace("
",'').replace(" ", '')

13.获取数据

最难的加密已经弄出来了现在就是一个简单的取数据就可以了因为大众点评的长评论和短评论存储的xpath不同所以需要一个小判断直接看代码吧
代码实现：

  def get_data(self, str_text):x = etree.HTML(str_text)# 取出所以li标签li = x.xpath('//div[@class="reviews-items"]/ul/li')print(len(li))for l in li:# 定义一个字典用来存储数据item = dict()# 口味评分flavor = l.xpath("./div/div/span/span[1]/text()")# 环境评分ambient = l.xpath("./div/div/span/span[2]/text()")# 服务评分service = l.xpath("./div/div/span/span[3]/text()")# 人均价格price = l.xpath("./div/div/span/span[4]/text()")# 发布时间times = l.xpath("./div[@class='main-review']/div/span[@class='time']/text()")# 短评论s_comment = l.xpath("div[@class='main-review']/div[@class='review-words']")# 长评论l_comment = l.xpath("div[@class='main-review']//div[@class='review-words Hide']")# 存储到字典中item["flavor"] = str(flavor[0]).replace('\n', '').replace(' ', '') if flavor else "暂无"item["ambient"] = str(ambient[0]).replace('\n', '').replace(' ', '') if ambient else "暂无"item["service"] = str(service[0]).replace('\n', '').replace(' ', '') if service else "暂无"item["price"] = str(price[0]).replace('\n', '').replace(' ', '') if price else "暂无"item["time"] = str(times[0]).replace('\n', '').replace(' ', '') if times else "暂无"# 判断此条评论为长评还是短评 然后存储到字典if l_comment:l_str = html.unescape((etree.tostring(l_comment[0]).decode()))l_com = re.findall('<div class="review-words Hide">(.+?)<div class="less-words">', l_str,re.DOTALL)[0]item["comment"] = l_com.replace('\n', '').replace(' ', '').replace('\t', '')elif s_comment:s_str = html.unescape((etree.tostring(s_comment[0]).decode()))s_com = re.findall('<div class="review-words">(.+?)</div>', s_str, re.DOTALL)[0]item["comment"] = s_com.replace('\n', '').replace(' ', '').replace('\t', '')else:item["comment"] = "该用户没有填写评论..."# 类中的列表 来存储保存后的字典self.data.append(item)

14.保存数据到csv文件中

代码实现：

    def save(self):"""保存数据为csv文件:return:"""pandas.DataFrame(self.data,columns=["flavor", "ambient", "service", "price", "time", "comment"]).to_csv('data.csv')

15.写一个调用所有方法的主方法

代码实现：

    def run(self, url):self.url = url# 获取cssself.down_css()# 获取字体文件self.down_svg()# 添加字体映射self.font_mapping()# 添加位置映射self.position_mapping()# 获取所有加密字体位置self.all_font_position()# 查询对应字体 并替换str_text = str(self.text)for position in self.position_list:for x in self.position_l:if x.get("class") == position:str_text = str_text.replace('<svgmtsi class="{}"></svgmtsi>'.format(position),str(self.find_font(x.get('x'),x.get('y')))).replace("
",'').replace(" ", '')# 获取数据self.get_data(str_text)# 保存文件self.save()# 控制台打印数据pprint(self.data)

16.运行代码

代码如下：

def main():# 创建爬虫对象down_spider = DownComment()# 爬取5页数据for i in range(1, 2):print('-----------当前为{}页---------------'.format(i))url = "http://www.dianping.com/shop/k9oYRvTyiMk4HEdQ/review_all/p{}".format(i)down_spider.run(url=url)

17.查看数据保存数据

运行代码查看数据即可控制台打印以及保存到本地的csv文件感谢你的观看希望对你有所帮助
注：网站的反扒策略一直在变有可能一小时前可以有可能一小时后就不能使用了