python带你采集各种表情包，做群里最靓的崽~

前言

大家早好、午好、晚好吖~

环境使用:

Python 3.8
Pycharm 2021.2版本

模块使用:

import requests >>> pip install requests
import re

爬虫的基本套路

一. 数据来源分析

明确自己需求
url 唯一资源定位符 <图片视频音频都是唯一url地址>

二. 代码实现步骤

发送请求, 用python代码模拟浏览器对于url地址发送请求
获取数据, 获取服务器返回响应数据
解析数据, 提取我们想要图片url以及图片的标题
保存数据, 图片内容保存本地文件夹

代码

import requests  # 数据请求模块
import re  # 正则表达式
import time  # 时间模块
import concurrent.futuresdef get_response(html_url):"""发送请求函数:param html_url: 形式参数, 不具备实际意义:return:某些你不加伪装,也可以得到数据 <网站反爬>headers 字典数据类型,Cookie 用户信息, 常用于检测是否有登陆账号  <需要你登陆账号之后才能看到数据>User-Agent: 用户代理 表示浏览器基本身份标识"""headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'}response = requests.get(url=html_url, headers=headers)return response  # <Response [200]> 响应对象, 200表示状态码 请求成功
源码、解答、教程加Q裙：832157862def get_img_info(html_url):"""获取图片信息函数:param html_url: 网址:return:"""response = get_response(html_url=html_url)  # 调用函数# print(response.text)# <a href=".*?" title="(.*?)">  () 表示精确匹配, 我们想要数据内容  .*? 通配符 可以匹配任意字符 除了(\n换行符)# 正则表达式就是复制粘贴 想要的数据用(.*?)表示就可以了title_list = re.findall('<a href=".*?" title="(.*?)">', response.text)url_list = re.findall('<img class="ui image lazy" data-original="(.*?)"', response.text)zip_data = zip(title_list, url_list)  # zip() 内置函数, 可以把两个列表数据打包放到一起返回zip对象return zip_data  # <zip object at 0x000001B6B38A8900>源码、解答、教程加Q裙：832157862
def save(title, img_url):"""保存数据:param title: 图片标题:param img_url: 图片网址:return:"""# 保存数据, 一定有数据title = re.sub(r'[\/:*?"<>|\n]', '', title)img_content = get_response(html_url=img_url).content  # 调用前面定义好的发送请求函数 .content 获取图片二进制数据内容with open('img\\' + title + '.' + img_url.split('.')[-1], mode='wb') as f:f.write(img_content)print(title, '保存成功')def main(link):"""主函数, 整合上面所有功能:param link::return:"""zip_data = get_img_info(html_url=link)for title, img_url in zip_data:save(title, img_url)源码、解答、教程加Q裙：832157862
if __name__ == '__main__':# 采集多页数据内容, 可以分析请求url地址变化规律# 爬虫思路可以通用, 但是代码是不能通用# 每个网站数据结构不一样, 代码写法就不一样time_1 = time.time()exe = concurrent.futures.ProcessPoolExecutor(max_workers=7)for page in range(1, 201):url = f'https://fabiaoqing.com/biaoqing/lists/page/{page}.html'exe.submit(main, url)exe.shutdown()time_2 = time.time()use_time = int(time_2) - int(time_1)print('总计耗时: ', use_time)#  单线程 采集20页数据 总计耗时:  71
#  多线程 采集20页数据 总计耗时:  14
#  青灯讲过爬虫 100多个案例 不同平台 网站 <学了不用担心 不会写代码 实践案例管饱...>

尾语

好了，我的这篇文章写到这里就结束啦！

有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง

喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！

python带你采集各种表情包，做群里最靓的崽~相关推荐

【python实战】批量采集表情包，群里发表情你绝对独领风骚~
本次目的: python爬取海量表情包亮点: 系统分析目标网页 html标签数据解析方法海量图片数据一键保存环境介绍: python 3.8 pycharm 模块使用: requests > ...
使用python的turtle库画表情包
使用python的turtle库画表情包话不多说,先上效果图,然后是代码代码如下: import turtleturtle.penup() turtle.goto(-80,20) turtle.c ...
Python爬虫 | 斗图网表情包抓取
Python爬虫 | 斗图网表情包抓取 1.数据来源分析 2.制作div_list 3.发起请求 4.保存图片 5.批量获取 6.完整代码声明 1.数据来源分析打开斗图吧的主页,发现网址非常有 ...
python从入门到入土表情包-Python开发个人专属表情包网站，表情在手，天下我有...
"表情包"是一种利用图片来表示感情的一种方式.表情包是在社交软件活跃之后,形成的一种流行文化,表情包流行于互联网上面,基本人人都会发表情. 曾经你是否也有过找不到表情包去应对别人的 ...
python 脚本下载bilibili右上角表情包
python 脚本下载bilibili右上角表情包 B站是个十分有趣的地方,今天就来下载一下B站官网的表情包图片. 事实上,B站的表情包全部在一个json文件中,只要请求即可.项目地址github主页 ...
Python新手实战爬取表情包
Python新手实战爬取表情包前言如有错误, 还望大佬们斧正. 谢谢! 我是一个Python小白. 如有错误还请见谅. 本文是Python 爬取表情包适合新手. 代码还有很多可以改进的地方. 本 ...
Python什么都能做（二）用Python画微信新出的表情包
11月18日,微信团队又推出了六张全新的小表情,可爱而有趣的表情瞬间火爆了大家的微信好友圈,也毫无疑问的登上了微博热搜榜的首位.各大明星纷纷效仿表情包,引发了一波全民的娱乐小高潮. 腾讯推出的新表情包 ...
python做动态表情包下载_用 Python 开发一个【GIF表情包制作神器】
之前小帅b写过这样一篇教程然后,好多人表示:虽然存了很多表情包但似乎还不是很过瘾因为它不可以自己来定制我们可不可以根据一些表情素材然后自己制作专属表情包呢像这样本来小帅b想自己实现一个表情包制作器后 ...
python制作会动的表情包_只要3步，菜鸟也能用Python做个逗逼的表情包
先来个小姐姐表情包,一睹为快表情包的使用,已经成为我们日常生活中必不可少的一个重要的交流工具,但是让人苦恼的是,表情包只能通过收藏他人的或者是从官网上获取成套的表情包,无法制作自己的表情包. 今天, ...

python带你采集各种表情包，做群里最靓的崽~

前言

环境使用:

模块使用:

爬虫的基本套路

一. 数据来源分析

二. 代码实现步骤

代码

尾语

python带你采集各种表情包，做群里最靓的崽~相关推荐

最新文章

热门文章