你学爬虫，最终不还是为了爬妹子

啥也不说，开始福利赠送~

女神大会

不是知道有多少人知道“懂球帝”这个 APP（网站），又有多少人关注过它的一个栏目“女神大会”，在这里，没有足球，只有女神哦。

画风是这样的

女神评分，全部是由球迷来决定，是不是很赤鸡，下面就一起来看看球迷眼中女神排名吧。

开工

获取 ID 信息

首先，我们可以通过抓取懂球帝 APP 的网络请求，拿到一个 API，

http://api.dongqiudi.com/search?keywords=type=all&page=

该 API ，我们能够拿到如下信息

我们主要关注 ID 和 thumb，ID 后面用来拼接女神所在页面的 HTML 地址，thumb 就用来收藏。

于是，我们就可以得到一个简单的解析函数

接下来，通过观察，我们能够得到，每个女神所在的页面地址都是这样的，

https://www.dongqiudi.com/archive/**.html

其中 ** 就是上面拿到的 ID 值，那么获取 HTML 页面的代码也就有了

防止访问限制，每次请求都做了2秒的等待

但是，问题来了

当我直接请求这个页面的时候，竟然是这样的

被（悲）拒（剧）了

没办法，继续斗争。重新分析，发现请求中有携带一个 cookie，哈哈，这个我们已经轻车熟路啦

对 requests 请求增加 cookie，同时再把 headers 里面增加个 User-Agent，再试

成了！

解析本地 HTML

最后，就是解析下载到本地的 HTML 页面了，页面的规则就是，本期女神介绍页面，会公布上期女神的综合得分，而我们的主要任务就是获取各个女神的得分

保存数据

对于我们最后解析出来的数据，我们直接保存到 csv 文件中，如果数据量比较大的话，还可以考虑保存到 mongodb 中。

对于女神的得分，又根据打分的人数，做了个加权分数

保存图片

直接从拿到的 thumb 地址中下载图片，并保存到本地。

做一些图

首先我们先做一个柱状图，看看排名前10和倒数前10的情况

可以看到，朱茵、石川恋和高圆圆位列三甲，而得分高达95+的女神也有7位之多。那么排名后10位的呢，自行看吧，有没有人感到有点扎心呢，哈哈哈。同时，也能够从打分的人数来看出，人气高的女神，普遍得分也不低哦。

不过，该排名目前只代表球迷心目中的榜单，不知道程序猿心中的榜单会是怎样的呢

词云

图片墙

流口水哦。

百度 API 评分

百度有免费的人脸检测 API，只要输入图片，就能够得到对应的人脸得分，还是非常方便的，感兴趣的小伙伴可以去官网看看哦。

福利：私信回复【01】可免费获取python入门教程视频

我这里直接给出了我通过百度 API 得出的女神新得分，一起来看看吧

哈哈哈哈，AI 的评分，对于图片的依赖太高，纯属娱乐。

终于我还是没忍住，用Python爬了一波女神相关推荐

python爬女神_终于我还是没忍住，用Python爬了一波女神
你学爬虫,最终不还是为了爬妹子 125537qvvcq0jz6h7zv7s2.jpg (10.63 KB, 下载次数: 0) 2019-11-27 12:55 上传啥也不说,开始福利赠送~女神大会不是 ...
xbox解锁服务器和语言,微软终于还是没忍住！国行Xbox One实现解锁了
[摘要]PS4上市后,消费者们对于Xbox One锁区的吐槽就更猛烈了.随后,微软中国宣称将在四月的更新带来惊喜,媒体和玩家几乎不约而同地将猜测指向解锁,现在看来微软是真要这么干. 之前有消息表明国行 ...
没忍住又怼同事了！领导说，要做好情绪管理：真正优秀的人，从来都是不动声色...
作者| Mr.K 来源| 技术领导力(ID:jishulingdaoli) 01 做个不动声色的职场成年人在互联网公司里,同事之间互怼是常有的事,比如需求讨论半天,谈不拢,升级成带情绪地争吵,甚至动 ...
女朋友羞辱我一线程序员35岁后没出路？该回二线发展！我没忍住，吼她两句！我错了吗？...
很多北漂都面临着这些问题:工资买不起房,等能买得起房了,月供高:好不容易等月供还的起了,北京户口没法解决,孩子没法在北京一直读书,得回原籍高考.北京是个承载梦想的地方,可能承载着未来的生活吗?这不,小 ...
「迁怒」也许不只是没忍住
说说这个戾气满满的环境吧,更糟糕的是很多时候,这个戾气还是「迁怒」. 「不迁怒,不贰过」,出自<史记·仲尼弟子列传>,我们今天只说「不迁怒」,字典里的解释,就是自己有什么不顺心的事,有什么 ...
我知道互联网不相信眼泪，但是这次我没忍住
开篇我没写一个字,我像很多人有跟我一样的感受. 嗯,这就是我今天遇到的读者,说真的她鼓励到我了,本来今天是想写一篇欢快的文章的,因为B站粉丝破1W了嘛,挺开心的. 本来今年定了个小目标说是B站2W粉, ...
霍金这次想帮AI说点好话，后来没忍住……
千平编译整理量子位出品 | 公众号 QbitAI 著名科普型学者霍金,一直对AI表现的忧心忡忡. 周一,霍金的身影又出现在Web Summit 2017大会上.不过这一次,霍金尝试想表达一些更乐 ...
漫画 | 产品经理频繁更改需求，我没忍住把他给砍了！
众所周知,程序员是一类思维比较特殊的群体,但他们也有不为人知的烦恼,最常见的是经常被产品经理频繁改需求.拿老板来压人等-,而这些烦恼外行人是很难理解的. 就像前些年就出现过"软件公司老板被员 ...
说好不哭，但是再次听到你的新歌还是没忍住
谈到周董,说他是我们的青春也不为过吧.从最开始的龙卷风,黑色幽默,我记得那个时候我才四五岁听着姐姐的mp3,疯狂循环这些歌.到后来的安静,搁浅,就天天扯着嗓子飙高音.当时的我们根本不懂歌中的心酸,现在 ...

终于我还是没忍住，用Python爬了一波女神

女神大会

开工

做一些图

百度 API 评分

终于我还是没忍住，用Python爬了一波女神相关推荐

最新文章

热门文章