字体加密woff(@font-face)防爬-学习记录
2024-06-04 07:52:07
字体(@font-face)防爬-学习记录
解析步骤
更新：2021-3-10 08:57:01
- 下载、加载woff文件
- 按百度字体编辑器解析结果，截图识别出汉字，按顺序复制出汉字列表
font = TTFont(woff_path)
base_word= list('这里是按顺序复制出的汉字')
- 提取
uniname列表，结合2中的汉字列表，构成uni->汉字的映射
base_uniname = font.getGlyphOrder()[2:]
base_uniname_map_word = dict(zip(base_uniname, base_word))
- 提取
$E->uni的映射
base_hex_map_uniname = font.getBestCmap()
- 由4,5构成
$E->汉字的映射
dict_hex_map_word = {}
for k, v in base_hex_map_uniname.items():if not str(v).startswith('uni'):continuebase_hex_map_uniname[k] = base_uniname_map_word.get(v, '')str_k = hex(k)str_k1 = "<em class='iconfont'>&#x{};</em>".format(str_k[2:])# print(str_k1)dict_hex_map_word[str_k1] = base_uniname_map_word.get(v, '')
原网址：【http://www.dianping.com/shop/124413166】 ，对应位置数字和文字被加密
参考
1、针对@font-face反爬
2、第五章（上）：诡异的字体
搜索关键字 “font-face”
@font-face {font-family: <fontFamily>; /* 自定义的字体名称; */src: <source> [<format>][,<source> [<format>]]*; /* 自定义的字体的存放路径、格式; */[font-weight: <weight>]; /* 是否为粗体 */ [font-style: <style>]; /* 定义字体样式，如斜体 */
}
在源码中没有找到, 那就打开开发者调试工具, 在Network中搜索 font 字体, 找到字体的url地址, 进行下载， url太长，使用md5压缩
dataBase64 = r'd09GRgABAAAAAAZgABAAAAAADAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABGRlRNAAAGRAAAABoAAAAci6qHkUdERUYAAAWgAAAAIwAAACQAYABXR1BPUwAABhQAAAAuAAAANuAY7+xHU1VCAAAFxAAAAFAAAABm2fPczU9TLzIAAAHcAAAASgAAAGBP9V5RY21hcAAAAkQAAACIAAABYt6F0cBjdnQgAAACzAAAAAQAAAAEABEBRGdhc3AAAAWYAAAACAAAAAj//wADZ2x5ZgAAAywAAADMAAAD2MHtryVoZWFkAAABbAAAADAAAAA2E2+eoWhoZWEAAAGcAAAAHwAAACQC9gDzaG10eAAAAigAAAAZAAAArgJkABFsb2NhAAAC0AAAAFoAAABaFQAUGG1heHAAAAG8AAAAHwAAACAAcABAbmFtZQAAA/gAAAE5AAACXvFdBwlwb3N0AAAFNAAAAGIAAACE5s74hXjaY2BkYGAAYpf5Hu/j+W2+MnAzMYDAzaX6QjD6/4//Bxj5GA8AuRwMYGkAPywL13jaY2BkYGA88P8Agx4j+/8fQDYfA1AEBWgDAIB2BOoAeNpjYGRgYNBh4GdgYgABEMnIABJzYNADCQAACWgAsQB42mNgYfzCOIGBlYGB0YcxjYGBwR1Kf2WQZGhhYGBiYGVmgAFGBiQQkOaawtDAoMBQxXjg/wEGPcYDDA4wNUA2CCgwsAAAO4EL6gAAeNpj2M0gyAACqxgGNWBkZ2D4/wMA+xkDdgAAAHjaY2BgYGaAYBkGRgYQiAHyGMF8FgYHIM3DwMHABGQrMOgyWDLEM1T9/w8UBfEMgLzEP/5//f/V/xv+r4eaAAeMbAxwIUYmIMHEgKYAYjUcsDAwsLKxc3BycfPw8jEQA/gZBASFhEVExcQlJKWkZWTl5BUUlZRVVNXUNTQZBgMAAMR+E+gAEQFEAAAAKgAqACoANAA+AEgAUgBcAGYAcAB6AIQAjgCYAKIArAC2AMAAygDUAN4A6ADyAPwBBgEQARoBJAEuATgBQgFMAVYBYAFqAXQBfgGIAZIBnAGmAbIBzgHsAAB42u2NMQ6CUAyGW568x9AneYYgm4MJbhKFaExIOAVX8ApewSt4Bic4AfeAid3VOBixDxfPYEza5O+Xfi04YADggiUIULCuEJK8VhO4bSvpdnktHI5QCYtdi2sl8ZnXaHlqUrNKzdKcT8cjlq+rwZSvIVczNiezsfnP/uznmfPFBNODM2K7MTQ45YEAZqGP81AmGGcF3iPqOop0r1SPTaTbVkfUe4HXj97wYE+yNwWYxwWu4v1ugWHgo3S1XdZEVqWM7ET0cfnLGxWfkgR42o2PvWrDMBSFj/IHLaF0zKjRgdiVMwScNRAoWUoH78Y2icB/yIY09An6AH2Bdu/UB+yxopYshQiEvnvu0dURgDt8QeC8PDw7Fpji3fEA4z/PEJ6YOB5hKh4dj3EvXhxPqH/SKUY3rJ7srZ4FZnh1PMAtPhwP6fl2PMJMPDgeQ4rY8YT6Gzao0eAEA409DuggmTnFnOcSCiEiLMgxCiTI6Cq5DZUd3Qmp10vO0LaLTd2cjN4fOumlc7lUYbSQcZFkutRG7g6JKZKy0RmdLY680CDnEJ+UMkpFFe1RN7nxdVpXrC4aTtnaurOnYercZg2YVmLN/d/gczfEimrE/fs/bOuq29Zmn8tloORaXgZgGa78yO9/cnXm2BpaGvq25Dv9S4E9+5SIc9PqupJKhYFSSl47+Qcr1mYNAAAAeNptw0cKwkAAAMDZJA8Q7OUJvkLsPfZ6zFVERPy8qHh2YER+3i/BP83vIBLLySsoKimrqKqpa2hp6+jq6RsYGhmbmJqZSy0sraxtbO3sHRydnEMU4uR6yx7JJXveP7WrDycAAAAAAAH//wACeNpjYGRgYOABYhkgZgJCZgZNBkYGLQZtIJsFLMYAAAw3ALgAeNolizEKgDAQBCchRbC2sFER0YD6qVQiBCv/H9ezGI6Z5XBAw8CBK/m5iQQVauVbXLnOrMZv2oLdKFa8Pjuru2hJzGabmOSLzNMzvutpB3N42mNgZGBg4GKQYzBhYMxJLMlj4GBgAYow/P/PAJJhLM6sSoWKfWCAAwDAjgbRAAB42mNgYGBkAIIbCZo5IPrmUn0hGA0AO8EFTQAA'#我这里拿到的自定义字体是采用js使用base64硬编码在网页里面的
import base64
from fontTools.ttLib import TTFont
import iodata = base64.b64decode(s)
fonts = TTFont(io.BytesIO(data))
#从解析出来的xml找到对应字体编码的结构并读取出来
fonts.saveXML("text.xml")
print(fonts.getBestCmap())
download as 7260090a.woff
将图中url里面的内容复制，在浏览器新标签页面打开，会直接下载一个文件。使用FontCreator字体查看工具 ，可以看到隐藏字符都有一个对应的编码
在原地址页面中观察目标内容
观察完毕，代码解析
# pip3 install fonttoolsfrom fontTools.ttLib import TTFont# 解析字体文件，获取字体映射关系
def parse_font():font1 = TTFont(r"E:\workspace\20191029_zhaopin\7260090a.woff")keys, values = [], []for k, v in font1.getBestCmap().items():if v.startswith('uni'):keys.append(eval("u'\\u{:x}".format(k) + "'"))values.append(chr(int(v[3:], 16)))else:keys.append("&#x{:x}".format(k))values.append(v)
# font1.saveXML('temp.xml')return dict(zip(keys, values))
截止到目前，并没有解决大众点评的解析，
参考1、 听说你爬回来的都是乱码？三个案例教你破解字体加密，这个说要建立2个列表：汉字列表和编码列表，然而这2个列表好像需要手动构建，持续搜索别的方法。是不是可以使用 ==> 网上搜到字典列表，可以用。
参考2、 反爬终极方案总结—字体反爬
参考2、 用matplotlib，画出坐标
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
2019-12-11 17:15:21-解决办法：
参考大众点评 数据爬取 （字体反爬）
1、获取woff(2个address.woff and num.woff)
通过观察，页面每次加载的css是同一个，意味着address和num的woff文件是仅有一套
手动下载woff文件，此处以address.woff 为例
2、加载woff文件，获取编码
addrFont = TTFont('address.woff') # 加载woff文件
addrFont.saveXML('addrFont.xml') # 转为xml文件，方便对比
3、构造目标字典
character = list('1234567890店中美家馆小车大市公酒行国品发电金心业商司超生装园场食有新限天面工服海华水房饰城乐汽香部利子老艺花专东肉菜学福饭人百餐茶务通味所山区门药银农龙停尚安广鑫一容动南具源兴鲜记时机烤文康信果阳理锅宝达地儿衣特产西批坊州牛佳化五米修爱北养卖建材三会鸡室红站德王光名丽油院堂烧江社合星货型村自科快便日民营和活童明器烟育宾精屋经居庄石顺林尔县手厅销用好客火雅盛体旅之鞋辣作粉包楼校鱼平彩上吧保永万物教吃设医正造丰健点汤网庆技斯洗料配汇木缘加麻联卫川泰色世方寓风幼羊烫来高厂兰阿贝皮全女拉成云维贸道术运都口博河瑞宏京际路祥青镇厨培力惠连马鸿钢训影甲助窗布富牌头四多妆吉苑沙恒隆春干饼氏里二管诚制售嘉长轩杂副清计黄讯太鸭号街交与叉附近层旁对巷栋环省桥湖段乡厦府铺内侧元购前幢滨处向座下県凤港开关景泉塘放昌线湾政步宁解白田町溪十八古双胜本单同九迎第台玉锦底后七斜期武岭松角纪朝峰六振珠局岗洲横边济井办汉代临弄团外塔杨铁浦字年岛陵原梅进荣友虹央桂沿事津凯莲丁秀柳集紫旗张谷的是不了很还个也这我就在以可到错没去过感次要比觉看得说常真们但最喜哈么别位能较境非为欢然他挺着价那意种想出员两推做排实分间甜度起满给热完格荐喝等其再几只现朋候样直而买于般豆量选奶打每评少算又因情找些份置适什蛋师气你姐棒试总定啊足级整带虾如态且尝主话强当更板知己无酸让入啦式笑赞片酱差像提队走嫩才刚午接重串回晚微周值费性桌拍跟块调糕')
4、目标字典
numDict = {'': '0', '': '1', '': '2', '': '3', '': '4', '': '5', '': '6', '': '7', '': '8', '': '9'}
# -=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
addrDict = {'': '店', '': '中', '': '美', '': '家', '': '馆', '': '小', '': '车', '': '大', '': '市', '': '公', '': '酒', '': '行', '': '国', '': '品', '': '发', '': '电', '': '金', '': '心', '': '业', '': '商', '': '司', '': '超', '': '生', '': '装', '': '园', '': '场', '': '食', '': '有', '': '新', '': '限', '': '天', '': '面', '': '工', '': '服', '': '海', '': '华', '': '水', '': '房', '': '饰', '': '城', '': '乐', '': '汽', '': '香', '': '部', '': '利', '': '子', '': '老', '': '艺', '': '花', '': '专', '': '东', '': '肉', '': '菜', '': '学', '': '福', '': '饭', '': '人', '': '百', '': '餐', '': '茶', '': '务', '': '通', '': '味', '': '所', '': '山', '': '区', '': '门', '': '药', '': '银', '': '农', '': '龙', '': '停', '': '尚', '': '安', '': '广', '': '鑫', '': '一', '': '容', '': '动', '': '南', '': '具', '': '源', '': '兴', '': '鲜', '': '记', '': '时', '': '机', '': '烤', '': '文', '': '康', '': '信', '': '果', '': '阳', '': '理', '': '锅', '': '宝', '': '达', '': '地', '': '儿', '': '衣', '': '特', '': '产', '': '西', '': '批', '': '坊', '': '州', '': '牛', '': '佳', '': '化', '': '五', '': '米', '': '修', '': '爱', '': '北', '': '养', '': '卖', '': '建', '': '材', '': '三', '': '会', '': '鸡', '': '室', '': '红', '': '站', '': '德', '': '王', '': '光', '': '名', '': '丽', '': '油', '': '院', '': '堂', '': '烧', '': '江', '': '社', '': '合', '': '星', '': '货', '': '型', '': '村', '': '自', '': '科', '': '快', '': '便', '': '日', '': '民', '': '营', '': '和', '': '活', '': '童', '': '明', '': '器', '': '烟', '': '育', '': '宾', '': '精', '': '屋', '': '经', '': '居', '': '庄', '': '石', '': '顺', '': '林', '': '尔', '': '县', '': '手', '': '厅', '': '销', '': '用', '': '好', '': '客', '': '火', '': '雅', '': '盛', '': '体', '': '旅', '': '之', '': '鞋', '': '辣', '': '作', '': '粉', '': '包', '': '楼', '': '校', '': '鱼', '': '平', '': '彩', '': '上', '': '吧', '': '保', '': '永', '': '万', '': '物', '': '教', '': '吃', '': '设', '': '医', '': '正', '': '造', '': '丰', '': '健', '': '点', '': '汤', '': '网', '': '庆', '': '技', '': '斯', '': '洗', '': '料', '': '配', '': '汇', '': '木', '': '缘', '': '加', '': '麻', '': '联', '': '卫', '': '川', '': '泰', '': '色', '': '世', '': '方', '': '寓', '': '风', '': '幼', '': '羊', '': '烫', '': '来', '': '高', '': '厂', '': '兰', '': '阿', '': '贝', '': '皮', '': '全', '': '女', '': '拉', '': '成', '': '云', '': '维', '': '贸', '': '道', '': '术', '': '运', '': '都', '': '口', '': '博', '': '河', '': '瑞', '': '宏', '': '京', '': '际', '': '路', '': '祥', '': '青', '': '镇', '': '厨', '': '培', '': '力', '': '惠', '': '连', '': '马', '': '鸿', '': '钢', '': '训', '': '影', '': '甲', '': '助', '': '窗', '': '布', '': '富', '': '牌', '': '头', '': '四', '': '多', '': '妆', '': '吉', '': '苑', '': '沙', '': '恒', '': '隆', '': '春', '': '干', '': '饼', '': '氏', '': '里', '': '二', '': '管', '': '诚', '': '制', '': '售', '': '嘉', '': '长', '': '轩', '': '杂', '': '副', '': '清', '': '计', '': '黄', '': '讯', '': '太', '': '鸭', '': '号', '': '街', '': '交', '': '与', '': '叉', '': '附', '': '近', '': '层', '': '旁', '': '对', '': '巷', '': '栋', '': '环', '': '省', '': '桥', '': '湖', '': '段', '': '乡', '': '厦', '': '府', '': '铺', '': '内', '': '侧', '': '元', '': '购', '': '前', '': '幢', '': '滨', '': '处', '': '向', '': '座', '': '下', '': '県', '': '凤', '': '港', '': '开', '': '关', '': '景', '': '泉', '': '塘', '': '放', '': '昌', '': '线', '': '湾', '': '政', '': '步', '': '宁', '': '解', '': '白', '': '田', '': '町', '': '溪', '': '十', '': '八', '': '古', '': '双', '': '胜', '': '本', '': '单', '': '同', '': '九', '': '迎', '': '第', '': '台', '': '玉', '': '锦', '': '底', '': '后', '': '七', '': '斜', '': '期', '': '武', '': '岭', '': '松', '': '角', '': '纪', '': '朝', '': '峰', '': '六', '': '振', '': '珠', '': '局', '': '岗', '': '洲', '': '横', '': '边', '': '济', '': '井', '': '办', '': '汉', '': '代', '': '临', '': '弄', '': '团', '': '外', '': '塔', '': '杨', '': '铁', '': '浦', '': '字', '': '年', '': '岛', '': '陵', '': '原', '': '梅', '': '进', '': '荣', '': '友', '': '虹', '': '央', '': '桂', '': '沿', '': '事', '': '津', '': '凯', '': '莲', '': '丁', '': '秀', '': '柳', '': '集', '': '紫', '': '旗', '': '张', '': '谷', '': '的', '': '是', '': '不', '': '了', '': '很', '': '还', '': '个', '': '也', '': '这', '': '我', '': '就', '': '在', '': '以', '': '可', '': '到', '': '错', '': '没', '': '去', '': '过', '': '感', '': '次', '': '要', '': '比', '': '觉', '': '看', '': '得', '': '说', '': '常', '': '真', '': '们', '': '但', '': '最', '': '喜', '': '哈', '': '么', '': '别', '': '位', '': '能', '': '较', '': '境', '': '非', '': '为', '': '欢', '': '然', '': '他', '': '挺', '': '着', '': '价', '': '那', '': '意', '': '种', '': '想', '': '出', '': '员', '': '两', '': '推', '': '做', '': '排', '': '实', '': '分', '': '间', '': '甜', '': '度', '': '起', '': '满', '': '给', '': '热', '': '完', '': '格', '': '荐', '': '喝', '': '等', '': '其', '': '再', '': '几', '': '只', '': '现', '': '朋', '': '候', '': '样', '': '直', '': '而', '': '买', '': '于', '': '般', '': '豆', '': '量', '': '选', '': '奶', '': '打', '': '每', '': '评', '': '少', '': '算', '': '又', '': '因', '': '情', '': '找', '': '些', '': '份', '': '置', '': '适', '': '什', '': '蛋', '': '师', '': '气', '': '你', '': '姐', '': '棒', '': '试', '': '总', '': '定', '': '啊', '': '足', '': '级', '': '整', '': '带', '': '虾', '': '如', '': '态', '': '且', '': '尝', '': '主', '': '话', '': '强', '': '当', '': '更', '': '板', '': '知', '': '己', '': '无', '': '酸', '': '让', '': '入', '': '啦', '': '式', '': '笑', '': '赞', '': '片', '': '酱', '': '差', '': '像', '': '提', '': '队', '': '走', '': '嫩', '': '才', '': '刚', '': '午', '': '接', '': '重', '': '串', '': '回', '': '晚', '': '微', '': '周', '': '值', '': '费', '': '性', '': '桌', '': '拍', '': '跟', '': '块', '': '调', '': '糕'}
5、替换规则
def parseHtmlToGetCSSUrl2(companyInfoHtmlText=None):parseHtml = r"parseHtml.html"with open(parseHtml, 'r', encoding='utf-8') as f:fReadLines = f.readlines()companyInfoHtmlText = ''.join([text for text in fReadLines])assert companyInfoHtmlText, "html must is not None"companyInfoHtmlText = re.sub(r'[\n|\t]?', '', companyInfoHtmlText)# 替换 Numfor key in numDict:strReplace1 = "class=\"num\">{};".format(key)strReplace2 = "class=\"num\">{}".format(numDict[key])companyInfoHtmlText = companyInfoHtmlText.replace(strReplace1, strReplace2)# 替换 addressfor key in addrDict:strReplace1 = "class=\"address\">{};".format(key)strReplace2 = "class=\"address\">{}".format(addrDict[key])companyInfoHtmlText = companyInfoHtmlText.replace(strReplace1, strReplace2)
字体加密woff(@font-face)防爬-学习记录相关推荐
- Solidity学习记录——第二章
Solidity学习记录 第一章 创建生产僵尸的工厂 第二章 设置僵尸的攻击功能 第三章 编写DAPP所需的基础理论 第四章 完善僵尸功能 第五章 ERC721 标准和加密资产 文章目录 Solidi ...
- Solidity学习记录——第四章
Solidity学习记录 第一章 创建生产僵尸的工厂 第二章 设置僵尸的攻击功能 第三章 编写DAPP所需的基础理论 第四章 完善僵尸功能 第五章 ERC721 标准和加密资产 文章目录 Solidi ...
- 前端学习记录13-CSS-(滑动门技术，微信导航栏实现，淘宝轮播图实现，图标字体实现，过渡效果，获得焦点元素)
前端学习记录13-CSS-滑动门技术,微信导航栏实现,淘宝轮播图实现,图标字体实现,过渡效果,获得焦点元素 滑动门技术 微信导航栏实现 静态轮播图实现 网上引用的图标字体设置 过渡效果(transit ...
- modelandview 可以返回html么_python爬虫反反爬，你几乎可以横扫大部分 css 字体加密的网站...
你已经知道了对方是 如何自定义字体加密的了 你要想去反反爬 你就要先站在对方的角度去思考问题 有句话这么说来着 "知己知彼,才能那啥" 那么对于像猫眼电影.大众点评等等 那样的 c ...
- python爬虫反爬对抗_python爬虫反反爬，你几乎可以横扫大部分 css 字体加密的网站...
你已经知道了对方是 如何自定义字体加密的了 你要想去反反爬 你就要先站在对方的角度去思考问题 有句话这么说来着 "知己知彼,才能那啥" 那么对于像猫眼电影.大众点评等等 那样的 c ...
- Python爬取58同城租房数据，破解字体加密
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于CSDN,作者:TRHX • 鲍勃 刚接触Python的新手.小白,可以复制下面的链 ...
- 爬取58同城，解决反爬字体加密解析问题
[导语]我们在爬取数据中,会遇到字体乱码的下,其实是字体加密,本篇文章主要解决字体解密这种反爬方式. 1.在浏览器打开58同城网址进入北京租房 2.点击检查,找到房租价格对应位置,发现源码中价格部分是 ...
- java多线程阶乘_【java学习记录】11.用多线程实现阶乘的计算过程和结果的读取（thread类ReadThread ）...
(源码在上传的压缩包"[java学习记录]11.多线程实现阶乘计算(Thread类和Runnable接口)"中可看到,该压缩包可下载)java * 采用Thread类的子类实现线程 ...
- Python爬取58同城租房数据，完美解决字体加密
前言 在这里我就不再一一介绍每个步骤的具体操作了,因为在爬取老版今日头条数据的时候都已经讲的非常清楚了,所以在这里我只会在重点上讲述这个是这么实现的,如果想要看具体步骤请先去看我今日头条的文章内容,里 ...
- 爬虫入门到放弃系列07：js混淆、eval加密、字体加密三大反爬技术
前言 如果再说IP请求次数检测.验证码这种最常见的反爬虫技术,可能大家听得耳朵都出茧子了.当然,也有的同学写了了几天的爬虫,觉得爬虫太简单.没有啥挑战性.所以特地找了三个有一定难度的网站,希望可以有兴 ...
最新文章
- XShell连接Deepin
- boost::python模块实现使用内置 python 数据类型创建 ndarrays 的示例，并提取成员变量的类型和值测试程序
- Android之adb jdwp获取debug版本app的进程Id
- Java Web-面试题
- bzoj3110树套树
- 体检异常率98%？数据分析告诉你如今的90后身体状况到底有多差？
- Entity Framework 4.1 Code First学习之路（二）
- VS2017(64位) Win32_Interop.lib ws2_32.lib 函数重定义
- Flutter自定义iconfont字体图标
- leo_物业收费管理系统
- python 将目录下的文件和子目录复制到指定文件夹
- Java 引用变量和实体变量
- 蓝牙相关学习：3.BLE协议物理层
- Jackson，Gson，Fastjson 的对比
- mp3格式如何转换为ogg
- 游戏建模基本流程(讲解建模经验)
- www.wolframalpha.com
- Windows找不到文件‘gpedit.msc‘。请确定文件名是否正确后,再试一次。
- ArcGIS10.2中文版下载与安装教程
- 新鲜出炉！最新CKA备考指南！！