起点中文网月票等字体数据爬取Python

起点中文网收藏量等数据爬取
1.难点分析

通过chrome开发工具分析我么可以得出结论，月票数量不是html文本，而是通过字体生成出来的数字，这时候的爬虫就要复杂一些了。
2.思路分析
先爬取目标网页的字体，之后通过python fontTools、io库将字体转化成数字
3.核心代码呈现

def get_font(url):response = requests.get(url)font = TTFont(BytesIO(response.content))cmap = font.getBestCmap()font.close()return cmap
def get_encode(cmap, values):WORD_MAP = {'zero': '0', 'one': '1', 'two': '2', 'three': '3', 'four': '4', 'five': '5', 'six': '6', 'seven': '7','eight': '8', 'nine': '9', 'period': '.'}word_count = ''for value in values.split(';'):value = value[2:]key = cmap[int(value)]word_count += WORD_MAP[key]return word_count

4.程序效果

5后记
若是想借鉴程序全部代码请评论留言

起点中文网月票等字体数据爬取Python相关推荐

UN Comtrade（联合国商品贸易统计数据库）数据爬取Python代码
目录 Python代码根据需求改写url 报错应对办法 UN Comtrade数据库关于中国台湾的数据 2021/9/28更新:最近有用户反馈下载会出现错误内容如下图,感谢用户@三眼皮138帮忙找出 ...
UN Comtrade（联合国商品贸易统计数据库）数据爬取Python代码——使用动态IP
目录 Virtual Private Network 代理服务器测试代理IP是否生效上一篇博文UN Comtrade(联合国商品贸易统计数据库)数据爬取Python代码讲了如何使用Python爬取 ...
全国地铁数据爬取-python
介绍爬取全国地铁站点.地铁线路和发车时刻的方法. 一.两种爬取方法概述 (一)html页面爬取 1. 为了收集全国地铁线路的发车时刻信息,刚开始尝试的方法如下: (1)找到每个城市的地铁官网,如&qu ...
Scrapy爬取1——接口数据爬取准备
本文爬取网页:https://spa1.scrape.center/ 爬取流程: 1.检查页面: 检查网页源代码,查看数据是在网页HTML源代码中还是调用了接口右键检查页面源代码,未在页面中发现任何 ...
大众点评数据爬取（字体反爬）
大众点评数据爬取 (字体反爬) 项目描述在码市的平台上看到的一个项目:现在已经能爬取到需要的数据,但是在爬取的效率和反爬措施上还需要加强. 项目分析 1.打开大众点评的首页'http://www. ...
Python 大数据分析疫情：如何实现实时数据爬取及 Matplotlib 可视化？
作者 | 杨秀璋来源 | CSDN博客专家Eastmount 责编 | 夕颜思来想去,虽然很忙,但还是挤时间针对这次肺炎疫情写个Python大数据分析系列博客,包括网络爬虫.可视化分析.GIS地图 ...
python爬取去哪网数据_用户观点：企查查数据爬取技术与Python 爬取企查查数据...
主体数据来源是全国工商信用网但是每个省的工商系统都不同,要针对每个省的工商系统单独写爬虫每个省的验证码也不同,也要单独做.企查查的原理不是主动爬去数据,而是有人查询该企业时,如果自己的数据库没有该企业 ...
《流浪地球》影评数据爬取分析
<流浪地球>影评数据爬取分析人生苦短,我用Python. 阿巴阿巴阿巴,爬虫初学者,志在记录爬虫笔记,交流爬虫思路. 话不多说,开始进行操作. 对于电影数据影评的爬取,这里选取的网站是豆 ...
Python网络数据爬取及分析-智联招聘
python网络数据爬取及分析-智联招聘一. 数据爬取智联招聘是一家面向大型公司和快速发展的中小企业提供一站式专业人力资源的公司,可在智联招聘网站上根据不同城市.不同职位需求搜索得到相关招聘信息. ...

起点中文网月票等字体数据爬取Python

起点中文网月票等字体数据爬取Python相关推荐

最新文章

热门文章