python爬图片 beautifulsoup_【Python爬虫】基于BeautifulSoup的微博图片爬虫
本文来源吾爱破解论坛
这个仅是用来记录我的学习过程,若有错误或者其他问题,欢迎指出。
[Python] 纯文本查看 复制代码import requests
from bs4 import BeautifulSoup
headers = {
"cookie": "YOUR_COOKIE", # 请传入cookie
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"
}
class Weibo(object):
def __init__(self):
self.uid = "Weibo_UID" # 请设置微博用户的UID
self.url = "https://weibo.cn/u/" + self.uid
def mysql(self):
pass
@staticmethod
def send_request(url):
r = requests.get(url, headers=headers).content.decode("utf-8")
return r
def weibo_infos(self, html):
parser = self.send_request(html)
soup = BeautifulSoup(parser, "html.parser")
weibo_name = soup.find("title").text.replace("的微博", "")
pages = int(soup.find("div", class_="pa", id="pagelist").input["value"])
weibo_url_list = ["https://weibo.cn/u/" + self.uid + "?page=%d" % (i+1) for i in range(pages)]
return weibo_name, pages, weibo_url_list
def weibo_parser(self, url):
import re
pic_id = list()
get_info = BeautifulSoup(self.send_request(url), "html.parser")
group_pic = [i["href"] for i in get_info.find_all("a", text=re.compile('组图'))]
img_id = [i["src"].split("/")[-1] for i in get_info.find_all("img", alt="图片")]
pic_id += img_id
for i in group_pic:
s_soup = BeautifulSoup(self.send_request(i), "html.parser")
pic_list = [i["src"].split("/")[-1] for i in s_soup.find_all(alt="图片加载中...")]
pic_id += [j for j in pic_list if j not in pic_id]
return pic_id
@staticmethod
def img_download(name, pic_id, url):
import os
path = r"C:\Users\Administrator\%s" % name + "\\"
if not os.path.exists(path):
os.makedirs(path)
try:
if os.path.exists(path + pic_id):
print("%s:该张图片已下载!" % pic_id)
else:
byte = requests.get(url, headers).content
with open(path + pic_id, "wb") as f:
f.write(byte)
except Exception as e:
print(e, "\n下载出错!")
def main(self):
total_pics = 0
weibo_name, pages, weibo_url_list = self.weibo_infos(self.url)
print("正在爬取 【 %s 】 的微博" % weibo_name)
print("总共检测到 %d 页" % pages)
for page, weibo_url in enumerate(weibo_url_list):
print("正在爬取第 %d 页微博" % (page+1))
pic_url = ["http://wx1.sinaimg.cn/large/" + pic_id for pic_id in self.weibo_parser(weibo_url)]
print("抓取第 %d 页微博完成,正在下载图片..." % (page+1))
for num, pic in enumerate(pic_url):
print("正在保存:%s" % pic)
self.img_download(weibo_name, pic.split("/")[-1], pic)
total_pics += 1
print(">>>第 %d 张图片<<
print("爬取完成!\n总共下载了 %d 张图片!" % total_pics)
if __name__ == '__main__':
Weibo().main()
本帖被以下淘专辑推荐:
· 好帖|主题: 149, 订阅: 14
python爬图片 beautifulsoup_【Python爬虫】基于BeautifulSoup的微博图片爬虫相关推荐
- python爬取商品信息_Python基于BeautifulSoup爬取京东商品信息
今天小编利用美丽的汤来为大家演示一下如何实现京东商品信息的精准匹配~~ HTML文件其实就是由一组尖括号构成的标签组织起来的,每一对尖括号形式一个标签,标签之间存在上下关系,形成标签树:因此可以说Be ...
- 教你用Python爬取表情包网站下的全部表情图片
教你用Python爬取表情包网站下的全部表情图片 又是我啦~~~ 最近上网的时候老看到有人用Python爬取表情包,心痒痒自己也整了一个. 使用到的扩展库:BeautifulSoup, request ...
- python爬取Instagram上偶像的帖子(包括图片和视频)
python爬取Instagram上偶像的帖子(包括图片和视频) 声明:仅供技术交流,请勿用于非法用途,如有其它非法用途造成损失,和本博客无关 目录 python爬取Instagram上偶像的帖子(包 ...
- 用Python爬取动态加载的诸如百度的图片
用Python爬取动态加载的诸如百度的图片 使用原因 代码如下 模块介绍 selenium模块 lxml解析模块 requests模块 去除重复 开启多线程 效果如下 留言 使用原因 学习Python ...
- python爬取京东python书籍信息
python爬取京东python书籍信息 直接上代码镇宅......................... 需要用到的库:requests lxml pymongo 需要安装这些库,并且配置好mong ...
- python爬取小说章节信息用pygame进行数据显示_爬虫不过如此(python的Re 、Requests、BeautifulSoup 详细篇)...
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 爬虫的本质就是一段自动抓取互联网信息的程序,从网络获取 ...
- Python爬取童程童美TTS网站知识点图片
Python爬取童程童美知识点PPT图片 爬取的网站:http://kidtts.tmooc.cn/studentCenter/toMyttsPage?isCenter=no http://resou ...
- python爬取qq电话_用Python爬取整个学院MM的电话和QQ,爬虫这也太霸道了!
1. python爬虫可以爬取大规模数据.Python具有丰富和强大的库.它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起.基本上可以负责任地认为,Pytho ...
- python怎么爬虫潭州教育_用Python爬取整个学院MM的电话和QQ,爬虫这也太牛了!...
1. python爬虫可以爬取大规模数据.Python具有丰富和强大的库.它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起.基本上可以负责任地认为,Pytho ...
最新文章
- 5.html基础标签:块级+行级元素+特殊字符+嵌套规则
- 去除list集合中重复项的几种方法
- WebAPP ViewPort iPhone5 黑边解决方案
- 【mud】金庸武侠年表-清朝以前
- adb shell top 命令详解
- php c端,tob端和toc端是什么意思
- 计算机二进制原理动画,伏羲创建的八卦图有多牛?计算机之父:二进制的原理从中发现...
- No qualifying bean of type ‘com.dao.BookDao‘ available解决
- csdn博客如何添加图片
- MapGIS注记文字无损转入ArcGIS软件
- IOS nonatomic 与 atomic 的区别
- 入门3D建模学习教程,让你最快从小白到建模大师!
- 暑假训练 The Triangle Game (OpenJ_Bailian - 1574)
- 适合送礼的真无线蓝牙耳机南卡小音舱开箱测评!
- 太阳能电池系统行业调研报告 - 市场现状分析与发展前景预测
- 我的小程序新增了证件照换底色功能
- 假如宋钦宗赵桓是一代明君,处理奸佞叛贼,开除主降派力排众议,文武并举。
- (王道考研计算机网络)第一章计算机网络体系结构-第一节计算机网络概述1:计网的概念、组成、功能和分类
- 共享纸巾机系统开发,关于Switch的使用
- 树形DP(HDOJ1011 2196 4003 5148 POJ2342)
热门文章
- SAP Hybris安装包里自带的apache ant
- SpringBoot启动时就会自动去连接mongdo DB指向的url
- How to determine if SAP CRM UI is extensible
- SAP云平台上两个ABAP系统实例之间的互连
- function implemented in Scala - compiled java code - some closure example
- Product Master data in C4C and data exchange with CRM via PI
- 如何在SAP Cloud for Customer里开发具有依赖关系的互动下拉列表
- 自定义hybris生成订单的ID格式
- IBASE save - my toolset investigation
- WordPress的Content-Length header already present错误