1.找到列表页请求接口

**进入点评网首页搜索海底捞，找到列表页接口
https://www.dianping.com/search/keyword/344/%E6%B5%B7%E5%BA%95%E6%8D%9E/p1

可以看到这个url有几个参，第一个344是搜索的地区，中间那一段乱码代表的是搜索关键字（搜索关键字后查看接口，根据url参数，就可以替换关键字为乱码），p1是翻页参数**

可以看到店铺信息的返回数据都是加密字符因为点评网自己加载了字体文件

2.破解字体文件反爬

进入这个url
这些以woff为结尾就是字体文件把他们下载到本地用FontCreator加载下（用百度在线字体打开会报错不知道什么原因）

可以看到每一个汉字都会对应一个编码接下来就要将汉字和编码组成一个映射表。

这里可以选择用ocr识别或者用第三方库fontTools加载字体文件(ocr不是那么准确)，我这里用第二种方式。
首先取出全部的汉字编码存储到列表中

from fontTools.ttLib import TTFontfont = TTFont('./font/' + name[1] + '.woff')             # 加载字体文件 .woff后缀
uni_list = font['cmap'].tables[1].ttFont.getGlyphOrder()  # 取出映射编码保存到列表中

自定义所有汉字列表并将其存储为json文件

接下来把两个表结合成字典 {编码：编码对应汉字，…}

再根据编码替换html中的每个节点信息，html的中的汉字就已经还原了。

接下来只需要自行解析并存储下来就可以。

项目github:https://github.com/sph116/dazhong_spiderhttps://github.com/sph116/dazhong_spider
我只是讲一下大体思路实际上很多细节我没有一一解析。大家可以参照我的github，后续我将会单独写一篇文章，来讲解详细代码欢迎交流

==以下是以”海底捞“关键词搜索为例（全国670家左右海底捞分店）采集到的各个店铺多维数据展示 ==

大众点评列表页采集思路，破解字体文件反爬（包含项目github 可用时间至2020-01-21）相关推荐

大众点评店铺详情页评论采集（破解css文字映射反爬，包含项目github 可用时间至2020-01-21）
在店铺详情页下拉点击更多点评才会进入真正的详情页. 在这个页面,使用的是css的文字映射反爬. 分析一下页面可以看到部分评论的数据是缺失的,跟每个节点的class属性可能有关系可以打开这个文件 ...
字体文件反反爬-- 起点中文网
工作中遇到一个,以前没有遇到的问题是,网站把重要的数字都转换成其他的东西爬取网站https://book.qidian.com/info/1011454545 起点女生网通过审查元素是这样的: ...
针对大众点评网上商铺评论字体替换反爬的反反爬
针对大众点评网上商铺评论字体替换反爬的反反爬字体替换的反爬,在之前网站出现过,如淘宝.猫眼等.但是主要针对于数字字体替换,由于数字就十个,完全可以手动分析字体文件,找出编码与数字的关系.但是,大众点 ...
android自定义引导页,Android仿大众点评引导页(ViewPage)+主页面(Fragment)的实现
大家好,今天主要是实现仿大众点评引导页和主页面以及城市定位的实现,主要使用ViewPager+Fragment+SharedPreferences,实现了第一次打开程序出现引导页,再次打开跳过引导页, ...
Python3 实现大众点评网酒店信息和酒店评论的网页爬取
**作者:**Mr. Ceong 链接:http://blog.csdn.net/leigaiceong/article/details/53188454 Python3 实现大众点评网酒店信息和酒店 ...
爬取拉钩破解拉钩反爬机制
破解拉钩反爬实现爬取内容拉钩的反爬很厉害没毛病老铁!! 我们现在来研究一下拉钩的请求头先导入的有一个ip池(get_ip) ip池可以不写用自己的也不会被封掉还有我是第一次写这些文章给个 ...
破解js加密反爬综述
破解js加密反爬综述微信公众号:在敲代码啦闲谈上周发懒,没有更贴.结果一个小伙伴居然私我希望我周更帖,这个消息对我来说是莫大的鼓励.总是胡说八道的我居然得到了小伙伴的认可,这足以让我嘚瑟一整子. ...
fontTools库来检测字体文件中是否包含某字符
在使用字体渲染某些字符时,有可能渲染出空白或者"口"字形,原因在于该字体文件中不包含该字符的字形. 可能的原因包括: 字符不在字体的cmap表中(cmap表是字体文件声明的支持字符 ...
爬取大众点评22页餐馆名称
首先,装入requests库和beautiful soup import requests from bs4 import BeautifulSoup 先爬取第一页的数据,将初始url设置为搜索页的第 ...

大众点评列表页采集思路，破解字体文件反爬（包含项目github 可用时间至2020-01-21）

1.找到列表页请求接口

2.破解字体文件反爬

大众点评列表页采集思路，破解字体文件反爬（包含项目github 可用时间至2020-01-21）相关推荐

最新文章

热门文章