爬虫实战：爬取京东手机图片并保存到本地

先看一下效果：

这个爬虫的功能是将京东上的手机图片爬取并保存下来，其思路和我上一篇博客爬取豆瓣大致相同，只是代码实现不太一样。主要分为三步：获取网页信息，解析数据，保存数据。只是这一次保存的是图片 jpg 格式，保存位置在D盘，上一篇是将文本信息保存到Excel。这一次需要用到 urllib.request 模块中的urlretrieve 函数进行本地保存，而保存数据到 Excel 中需要导入 xlwt 模块。废话不多说，上代码：

导入模块：

from urllib import request, error
from bs4 import BeautifulSoup
import re

获取网页信息

def askurl(url):try:req = request.Request(url)req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36')respond = request.urlopen(req)html = respond.read().decode('utf-8') #read()返回字符串类型return htmlexcept error.URLError as e:if hasattr(e, 'code'):print(e.code)if hasattr(e, 'reason'):print(e.reas)

解析数据

注意：
（1）在网页获取的正则表达式素材可能和 geturl() 函数爬取到的不一样。若是用正则表达式匹配到的内容为空，记得将 geturl() 获取到的内容输出对比一下，以确定真正的正则表达式。
（2）BeautifulSoup 模块中的 find_all() 函数第二个参数要可以用字典形式，也可以用 class_=“_blank" 形式

FindImage = re.compile(r'<img data-img="1" data-lazy-img="done" height="220" src="//(.+?\.jpg)" width="220">')def getdata():datalist = []baseurl = 'https://list.jd.com/list.html?cat=9987%2C653%2C655&page='for i in range(10):url = baseurl + str(2*(i+1)-1)html = askurl(url)soup = BeautifulSoup(html, 'html.parser')for item in soup.find_all('div', {'class':"p-img"}):item = str(item)image = FindImage.findall(item)if len(image):datalist.append(image[0])return datalist

保存图片
注意：
（1）图片链接前面要加上 ‘http://’
（2）图片名前面要加上保存的目录，后面要加上类型

def savedata():imagelist = getdata()i = 0for ImageUrl in imagelist:i += 1ImageName = 'd:/京东手机图片/第' + str(i) + '张图片.jpg'ImageUrl = 'http://' + ImageUrlrequest.urlretrieve(ImageUrl, filename=ImageName)return

主函数执行：

def main():savedata()if __name__=='__main__':main()

当然，我们并不仅仅只能爬取京东上的图片。利用爬虫技术还可以将任何自己喜欢的图片批量爬取下来留待他用。或，慢慢欣赏

爬虫实战：爬取京东手机图片并保存到本地相关推荐

python爬虫实例手机_Python爬虫实现爬取京东手机页面的图片(实例代码)
实例如下所示: __author__ = 'Fred Zhao' import requests from bs4 import BeautifulSoup import os from urllib ...
python爬取京东手机数据_实例解析Python如何实现爬取京东手机图片
本文主要为大家分享一篇Python如何实现爬取京东手机图片的方法,具有很好的参考价值,希望对大家有所帮助.一起跟随小编过来看看吧,希望能帮助到大家. 运行环境Python3.6.4#爬取京东手机图片i ...
简单的图片爬取，爬取豆瓣电影图片并保存到本地
文章目录前言一.前提准备 1.对页面进行分析 2.准备框架二.代码实现三.总结前言这是本人第一次写博客,如有失误请见谅.这段时间,由于疫情原因,在家无聊,再加上这学期要学习爬虫这们课程.所 ...
【Python爬虫】爬取京东手机名字和价格(搜索的第一页)，存入Excel表
在爬取了网易云歌单之后,在网上找各种爬虫实战,然后就觉得这个简单一点,然后就开始了我的懵逼之路.这个代码只是爬取搜索出来的信息的第一页,后续会学习爬取下一页,还有添加京东首页搜索能力,现在就先写着第一 ...
python爬虫实践-爬取京东商品图片
这段时间,因为疫情在家无聊,想起了网络爬虫,之前有写过使用requests库,又学了下使用urllib库,在这里记录下学习过程. 首先使用的IDE是pycharm,解释器版本3. 第一步:分析某东的u ...
python爬虫（爬取酷狗排行榜并保存到本地）
目录了解什么是爬虫安装相关的库分析爬取的网页写出代码一:了解什么是爬虫爬虫专业来讲就是一个探测机器,又被称为网络蜘蛛或网络机器人,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本, ...
【Python爬虫】爬取京东商品图片并下载
1. 引入库 import requests from lxml import etree 2. 请求数据(headers 的作用是将请求伪装成浏览器的请求,可以跳过简单的爬虫拦截) url = &q ...
python学爬虫书籍_Python3实战爬虫之爬取京东图书的图文详解
最近在学习python3,下面这篇文章主要给大家介绍了关于Python3实战爬虫之爬取京东图书图片的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下 ...
Java实现爬取京东手机数据
Java实现爬取京东手机数据最近看了某马的Java爬虫视频,看完后自己上手操作了下,基本达到了爬数据的要求,HTML页面源码也刚好复习了下,之前发布两篇关于简单爬虫的文章,也刚好用得上.项目没什么太 ...

爬虫实战：爬取京东手机图片并保存到本地

爬虫实战：爬取京东手机图片并保存到本地相关推荐

最新文章

热门文章