python爬虫获取图片
import urllib.request
import re
隐藏自己的包头信息
def get_html(url):request = urllib.request.Request(url) #添加地址request.add_header("user-agent","Mozilla/4.0 (Windows NT 6.5.0;\Win32; x86; rv:69.0) Gecko/20100101 Firefox/69.0") #添加头部信息response = urllib.request.urlopen(request) #提交信息包含头部信息html = str(response.read(),encoding="utf8") #获取页面后转换为字符串return html
获取图片网址
def get_imglist(html):newimglist = []imglist = re.findall("style/\w{60}\.jpg",html)#根据正则表达式，获取图片信息for i in imglist:newimglist.append("http://192.168.139.135/"+i) #这个是本地做的网页，写的自己的IP地址+信息 return newimglist
根据图片网站下载图片到本地
def get_img(imglist):num = 0for i in imglist: #每一个图的地址request = urllib.request.Request(i) #添加地址request.add_header("user-agent","Mozilla/4.0 (Windows NT 6.5.0;\Win32; x86; rv:69.0) Gecko/20100101 Firefox/69.0") #添加头部信息response = urllib.request.urlopen(request) #提交信息包含头部信息html = response.read() #获取图片的二进制内容num += 1 #为了文件名称定义with open(r"C:\Users\changpin\Desktop\a\%s.jpg" %num,"wb") as f: #图片用二进制图片写入路径是我自己写的f.write(html)
主函数的调用
if __name__ == "__main__":url = "http://192.168.139.135"html = get_html(url)#print(html)输出网页代码的所有信息imglist = get_imglist(html)#print(imglist)获取图片信息get_img(imglist)
python爬虫获取图片相关推荐
- python爬虫获取图片无法打开或已损坏_Python爬取小姐姐图片
爬取图片主要分为一下几步: 1.打开一个你喜欢的小姐姐的网站 2.下载并安装python环境 3.开始编码 python 全部代码如下 # requests 请求 需要提前在Terminal中安装 p ...
- python爬虫获取图片无法打开或已损坏_Python爬虫，图片下载完后是损坏的，怎么解决？...
coding:utf-8 import requests from bs4 import BeautifulSoup import os import sys reload(sys) sys.setd ...
- python下载图片并保存_Python爬虫获取图片并下载保存至本地的实例
1.抓取煎蛋网上的图片. 2.代码如下: import urllib.request import os #to open the url def url_open(url): req=urllib. ...
- Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3)
Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3) 1. 异步加载爬虫 对于静态页面爬虫很容易获取到站点的数据内容,然而静态页面需要全量加载站点的所有数据,对于网站的访问 ...
- Python爬虫 | Python爬虫获取女友图片
Python爬虫 | Python爬虫获取女友图片 前言 程序说明 二次元女友获取程序 观察网页结构 页面解析 创建图片保存路径 图片下载 格式转换 爬取结果展示 完整程序 前言 (又到了常见的无中生 ...
- Python爬虫获取简书的用户、文章、评论、图片等数据，并存入数据库
Python爬虫获取简书的用户.文章.评论.图片等数据,并存入数据库 爬虫定义:网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维 ...
- python爬虫获取url_Python爬虫如何获取页面内所有URL链接？本文详解
如何获取一个页面内所有URL链接?在Python中可以使用urllib对网页进行爬取,然后利用Beautiful Soup对爬取的页面进行解析,提取出所有的URL. 什么是Beautiful Soup ...
- 突破次元壁障，Python爬虫获取二次元女友
突破次元壁障,Python爬虫获取二次元女友 前言 程序说明 二次元女友获取程序 观察网页结构 页面解析 创建图片保存路径 图片下载 格式转换 爬取结果展示 完整程序 前言 (又到了常见的无中生友环节 ...
- python爬虫获取天猫店铺信息（更新到2020年）
python爬虫获取天猫店铺信息 爬取需求 在天猫搜索一个关键词,然后抓取这个关键词下的相关店铺,由于taobao的反爬策略,只能爬取到第十页大概200个店铺的信息. 效果预览 最终爬取的数据用exc ...
最新文章
- 基于CentOS中PXE网络环境构建实例
- Win7下安装一个装逼文本编辑器Atom + activate-power-mode插件
- 全国ps职称计算机试题及答案,最新职称计算机考试photoshop练习题
- python 命令-Python中执行系统命令的四种方法
- mysql删除重复记录
- EOS资源模型（1）资源说明
- xshell执行结果到文本_xshell拷贝文件到本地
- apache.camel_Apache Camel 2.21发布–新增功能
- 读书笔记——信息的表示与处理
- mysql 命令 utf8_Mysql 统一设置utf8字符
- 3Ddungeon-------三维搜索-----偷个懒 把 亡命逃窜 的代码修改了一下 拿来用了
- linux命令大全之ss命令详解(获取socket统计信息)
- Linux ERROR: configuration failed for package ‘rgeos’
- SimpleDateFormat 使用TimeZone
- Android——TextView指定字符串颜色高亮，实现类似微信、支付宝搜索结果中搜索字段高亮的效果
- 深度学习培训完可以找工作吗？深度学习可以做什么？
- 如何在电脑上下载python中文版_Python下载-Python中文版官方下载
- Qml自定义等待指示器
- 从RMSE和MSE到更多选择：探索机器学习模型性能指标
- python 实现zigzag排列