Crawler：爬虫基于urllib.request库实现获取指定网址上的所有图片

输出结果

核心代码

输出结果

核心代码

# coding=gbk
import urllib.request
import re
import os
import urllibdef getHtml(url):  #指定网址获取函数page = urllib.request.urlopen(url)html = page.read()return html.decode('UTF-8')def getImg(html):  #定义获取图片函数reg = r'src="(.+?\.jpg)" pic_ext'imgre = re.compile(reg)imglist = imgre.findall(html)x = 0path = r'F:\File_Python\Crawler'  # 将图片保存到F:\File_Python\Crawler文件夹中，如果没有Crawler文件夹,将会自动则创建if not os.path.isdir(path):  os.makedirs(path)  paths = path+'\\'     for imgurl in imglist:  #打开in集合中保存的imgurl图片网址，循环下载图片保存在本地urllib.request.urlretrieve(imgurl,'{}{}.jpg'.format(paths,x))   x = x + 1  return imglist
html = getHtml("https://tieba.baidu.com/p/2460150866?pn=10")#指定获取图片的网址路径
print (getImg(html))

Crawler：爬虫基于urllib.request库实现获取指定网址上的所有图片相关推荐

Crawler/ML：爬虫技术(基于urllib.request库从网页获取图片)+HierarchicalClustering层次聚类算法，实现自动从网页获取图片然后根据图片色调自动分类
Crawler/ML:爬虫技术(基于urllib.request库从网页获取图片)+HierarchicalClustering层次聚类算法,实现自动从网页获取图片然后根据图片色调自动分类目录一. ...
Crawler：基于urllib+requests库+伪装浏览器实现爬取国内知名招聘网站，上海地区与机器学习有关的招聘信息(2018.4.30之前)并保存在csv文件内
Crawler:基于urllib+requests库+伪装浏览器实现爬取国内知名招聘网站,上海地区与机器学习有关的招聘信息(2018.4.30之前)并保存在csv文件内目录输出结果设计思路核心 ...
python爬虫用urllib还是reques_Python爬虫之urllib.request库
爬虫--urllib.request库的基本使用所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地.在Python中有很多库可以用来抓取网页,我们先学习urllib.req ...
Crawler：基于urllib库获取cn-proxy代理的IP地址
Crawler:基于urllib库获取cn-proxy代理的IP地址目录输出结果实现代码输出结果后期更新-- 实现代码 import urllib.request import re imp ...
Crawler：基于urllib库+实现爬虫有道翻译
Crawler:基于urllib库+实现爬虫有道翻译目录输出结果设计思路实现步骤输出结果后期更新-- 设计思路第一步:首先要知道,data里面的内容是都需要在代码中发送给服务器的. 第二 ...
使用urllib.request库获取cookie登录
使用urllib.request库获取cookie登录一 .使用手动添加cookie的方式来获取页面二.使用 cookiejar 自动获取登录后获得的cookie 一 .使用手动添加cookie的 ...
python爬虫用urllib还是reques,python爬虫中urllib.request和requests有什么区别？
在学习python爬虫,想要检索request相关内容时,往往会出现urllib.request和requests这两个词,urllib.request和requests都是python爬虫的模块,其 ...
自定义request_python3下urllib.request库之Handle处理器和自定义Opener
python3下urllib.request库高级应用之Handle处理器和自定义Opener python3下urllib.request库高级应用之Handle处理器和自定义Opener 经过前面 ...
14. python爬虫——基于scrapy框架爬取糗事百科上的段子内容
python爬虫--基于scrapy框架爬取糗事百科上的段子内容 1.需求 2.分析及实现 3.实现效果 4.进行持久化存储 (1)基于终端指令 (2)基于管道 [前置知识]python爬虫--scr ...

Crawler：爬虫基于urllib.request库实现获取指定网址上的所有图片

输出结果

核心代码

Crawler：爬虫基于urllib.request库实现获取指定网址上的所有图片相关推荐

最新文章

热门文章