美国网红python微博_利用Python对微博网红进行对比
前言
在之前的分享中,我们已经学会了简书和知乎小姐姐的爬虫。今天罗罗攀把魔爪伸向了微博网红们,我们找找谁是最美网红。今天的流程如下:
网页分析
这里的微博网红链接:https://weibo.com/a/hot/7549094253303809_1.html,这个是微博关注中的新鲜事(大家不需要了解太多,就这个url即可)。里面收集了近段时间的热门网红微博。
这个网页简单,我们直接使用lxml库来解析即可。这里就强调一点,这个图片是普清的,进入详细页面可以是高清图片,但我发现只需要将图片的url中的“thumb180”换成“mw690”就可以将图换成高清。例如:
https://ww4.sinaimg.cn/thumb180/6960aeaaly1g23wtlad3sj21sc2dsu0x.jpg
https://ww4.sinaimg.cn/mw690/6960aeaaly1g23wtlad3sj21sc2dsu0x.jpg
爬虫代码
根据上面的思路,我们编写爬虫代码:
import requests
from lxml import etree
import re
headers = {
'cookie':''
}
url = 'https://weibo.com/a/hot/7549094253303809_1.html'
res = requests.get(url,headers=headers)
html = etree.HTML(res.text)
infos = html.xpath('//div[@class="UG_list_a"]')
for info in infos:
name = info.xpath('div[2]/a[2]/span/text()')[0]
content = info.xpath('h3/text()')[0].strip()
imgs = info.xpath('div[@class="list_nod clearfix"]/div/img/@src')
print(name,content)
i = 1
for img in imgs:
href = 'https:' + img.replace('thumb180','mw690')
print(href)
res_1 = requests.get(href,headers=headers)
fp = open('row_img/' + name + '+' + content + '+' + str(i) + '.jpg','wb')
fp.write(res_1.content)
i = i + 1
记得换上自己的cookie后就可以直接使用啦~
人脸识别API
之前我们就讲解过了人脸识别API的使用,这里把在讲解一遍。
首先,打开网址(http://ai.baidu.com/tech/face),登陆后立即使用,我们首先创建一个人脸识别的应用。api的使用说简单很简单(看文档就好了),说难也很难(大家的阅读能力在慢慢下降)。首先,我们看着文档(https://ai.baidu.com/docs#/Face-Detect-V3/top),一步步来。
接着我们通过API Key和Secret Key获取token:
import requests
ak = ''
sk = ''
host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={}&client_secret={}'.format(ak,sk)
res = requests.post(host)
print(res.text)
我们拿着token,来请求对应的网页就可以获取图片的内容了。我们拿张超越妹妹的图片做例子~
import base64
import json
token = ''
def get_img_base(file):
with open(file,'rb') as fp:
content = base64.b64encode(fp.read())
return content
request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
request_url = request_url + "?access_token=" + token
params = {
'image':get_img_base('test.jpg'),
'image_type':'BASE64',
'face_field':'age,beauty,gender'
}
res = requests.post(request_url,data=params)
result = res.text
json_result = json.loads(result)
code = json_result['error_code']
gender = json_result['result']['face_list'][0]['gender']['type']
beauty = json_result['result']['face_list'][0]['beauty']
print(code,gender,beauty)
### result 0 female 76.25
这里的token为前面请求得到的,params的参数中,图片需要base64编码~超越妹妹76.25,还算给力。
综合使用
最后,我们逐一请求我们保存的图片,获取小姐姐图片的分数(这里处理为1-10分),并分别存在不同的文件夹中。
import requests
import os
import base64
import json
import time
def get_img_base(file):
with open(file,'rb') as fp:
content = base64.b64encode(fp.read())
return content
file_path = 'row_img'
list_paths = os.listdir(file_path)
for list_path in list_paths:
img_path = file_path + '/' + list_path
# print(img_path)
token = '24.890f5b6340903be0642f9643559aa7a1.2592000.1557979582.282335-15797955'
request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
request_url = request_url + "?access_token=" + token
params = {
'image':get_img_base(img_path),
'image_type':'BASE64',
'face_field':'age,beauty,gender'
}
res = requests.post(request_url,data=params)
json_result = json.loads(res.text)
code = json_result['error_code']
if code == 222202:
continue
try:
gender = json_result['result']['face_list'][0]['gender']['type']
if gender == 'male':
continue
beauty = json_result['result']['face_list'][0]['beauty']
new_beauty = round(beauty/10,1)
print(img_path,new_beauty)
if new_beauty >= 8:
os.rename(os.path.join(file_path,list_path),os.path.join('8分',str(new_beauty) + '+' + list_path))
elif new_beauty >= 7:
os.rename(os.path.join(file_path,list_path),os.path.join('7分',str(new_beauty) + '+' + list_path))
elif new_beauty >= 6:
os.rename(os.path.join(file_path,list_path),os.path.join('6分',str(new_beauty) + '+' + list_path))
elif new_beauty >= 5:
os.rename(os.path.join(file_path,list_path),os.path.join('5分',str(new_beauty) + '+' + list_path))
else:
os.rename(os.path.join(file_path,list_path),os.path.join('其他分',str(new_beauty) + '+' + list_path))
time.sleep(1)
except KeyError:
pass
except TypeError:
pass
美国网红python微博_利用Python对微博网红进行对比相关推荐
- python 认证机构_利用Python爬了SIG官网BQB认证公司清单,我有一些重大发现..
关注"无线技术联盟"提供有价值的物联网市场信息和最新的技术分析 利用Python爬取了蓝牙联盟上近一年BQB认证公司的清单,把爬到的有价值的东西写出来分享给大家. 1 蓝牙认证 产 ...
- 利用python发送邮件_利用python实现简单的邮件发送客户端示例
脚本过于简单,供学习和参考.主要了解一下smtplib库的使用和超时机制的实现.使用signal.alarm实现超时机制. #!/usr/bin/env python # -*- coding: ut ...
- excel python插件_利用 Python 插件 xlwings 读写 Excel
Python 通过 xlwings 读取 Excel 数据 去年底公司让我做设备管理,多次委婉拒绝,最终还是做了.其实我比较喜欢技术.做管理后发现现场没有停机率统计,而原始数据有,每次要自己在Exce ...
- 动态照片墙 python 实现_利用python生成照片墙的示例代码
这篇文章主要介绍了利用python生成照片墙的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 PIL(Python Im ...
- ppt python 图表_利用python分析weibo数据做成图表放入PPT中
起因 很久以前,就有个想法,就是自动分析微博的数据,但是之前一直想的是网页版展示,flask想学了好久都没学,偶然的一次看到了一篇关于python处理pptx的文章,再加上同窗三年的室友在毕业后竟然主 ...
- python 搜索引擎_利用Python抓取搜索引擎结果
前一段时间一直在研究如何用python抓取搜索引擎结果,在实现的过程中遇到了很多的问题,我把我遇到的问题都记录下来,希望以后遇到同样问题的童鞋不要再走弯路. 1. 搜索引擎的选取 选择一个好的搜索引擎 ...
- python 离散化_利用Python将数值型特征进行离散化操作的方法
利用Python将数值型特征进行离散化操作的方法 如下所示: data = np.random.randn(20) factor = pd.cut(data,4) pd.get_dummies(fac ...
- 如何用python赚钱_利用python能怎么挣钱
广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 6年python,期间写了各种奇葩爬虫,挣各种奇葩的钱,写这篇文章总结下几种爬虫 ...
- java调python 监控_利用Python实现一个简单的系统监控图表
作为运维人员,想必大家肯定都做过这样的事情:为了监控系统资源使用情况,开了若干个窗口,来回切换看输出: 只要我切得够快,性能异常点就逃不过我的眼睛! 这个时候你要是有个监控工具自然是很好的,例如我们美 ...
最新文章
- 一文解决图片数据集太少的问题:详解KerasImageDataAugmentation各参数
- 关于form标题提交的应用技巧(-)
- tcp校验和计算校验和例子_浅谈TCP协议,总算明白它是干什么的了
- OpenCV实现基于傅里叶变换(FFT)的旋转文本校正(文字方向检测)
- C# 学习笔记(19)操作SQL Server下
- Notice: Undefined variable解决办法
- VIP到131970年过期就离谱~
- 如何在 GPU 上加速数据科学
- js产生页面内的顺序序列号
- 【CSS3】CSS多列属性(Multi-column)
- Java递归删除空文件夹
- 卡迪夫大数据专业排名_英国留学:英国大数据专业十大院校推荐!
- 如何使用大华SDK工具查询和播放设备录像?
- VBA批量OCR识别提取身份证照片信息_手机扫描仪:直装就是VIP,不限次数,一秒钟就能提取图片中的文字...
- Zabbix5.0版本 正则表达式
- 知物由学 | 未来50年网络安全行业发展愿景
- ERP需求和销售管理 概念
- 【Unity3D小工具】Unity3D中实现仿真时钟、表盘、仿原神时钟
- Linux 5.13-rc1 发布 初步支持苹果M1
- 《测绘综合能力》——地图制图