I前言

在手机上玩instagram时，看见好看的图片总希望能够保存下来，但是instagram app并没有提供保存图片的功能。要怎样保存呢？网上有很多方法，其中还要专门的微信公众号。今天我就用爬虫来获取我想要的instagram的图片，虽然用爬虫来爬取，有一点麻烦，可既然学习了python爬虫，那就学以致用，就用爬虫来试试如何下载instagram图片。下图是我爬取到的图片。

II所需工具和整个爬虫结构

在写这个爬虫会用到的工具有requests,xpath,selenium，这里为什么会用到selenium留到后面再说。爬虫分为两个部分，第一个部分获取到图片链接，第二个部分将图片保存到本地。相对很简单的爬虫，但这里会接触到javascript动态页面的技术。

III爬虫第一部分编写

1.获取到图片的链接

在这个部分，我们的目的很明确，那就是得到图片的绝对地址。首先我们如何得到app上图片的相对地址呢？很简单，打开手机app点击图片右上方的三个小点，把网址复制下来，如下图所示，用pc端打开。

这样，我们就可以在浏览器中就定位到我们要的图片在哪里了，使用审查元素的方式，找到图片的绝对地址。

2.代码编写与踩坑

到这里我们很容易想到用获取网址源码的方式得到这个URL，然后在请求URL的二进制形式，最后写入到本地文件即可。这样的思路没有问题，但instagram这个网址采用了javascript动态加载页面的方式来渲染网页。采用这种技术的网址本身会具备一定的反爬技术，所以如果一上来就reques.get网站源码。我们会得到一个这样子的网页源码。

在得到这样的源码后是不能用xpath找到图片绝对地址的，所以我们需要用到selenium这个工具。使用它来模拟浏览器打开网页，等待JS代码的执行，然后获取网页源码，这样就可以得到一个可以用xpath能处理的网页源码了。分析到这里，已经有了编写这一部分爬虫的思路了。使用selenium模拟浏览器打开网页，返回图片的绝对地址。下面直接上代码。

def getImgUrl(starturl):

'''获取图片连接'''

browser = webdriver.Chrome()

browser.get(starturl)

htmlSoure=browser.page_source

htmlXml=html.fromstring(htmlSoure)

imgurl = htmlXml.xpath('//div[@class="_jjzlb"]/img/@src')

global imgname

imgname= time.strftime('%Y-%m-%d-%H-%M-%S',time.localtime(time.time()))

return imgurl

在代码里，我加了一个全局变量，用来当作图片名字，是用当前的时间来命名的。

IV爬虫第二部分编写

到这里就很简单了，需要注意的是函数getImgUrl返回的地址是list，也就是说需要用下标的方式获取我们所要的URL，然后使用requests以字节的方式访问图片URL就写入到本地了。

def getImg(starturl):

'''保存图片'''

url=getImgUrl(starturl)

ins_pic=requests.get(url[0],headers=headers).content

dirname="insimg"

filename = '%s/%s.jpg' % (dirname, imgname)

with open(filename,'wb') as f:

f.write(ins_pic)

V总结

到这里核心代码已经编写完毕，只有两部分，比较简单。但这个爬虫存在很多问题，首先是慢，这个主要是需要使用到selenium来模拟浏览器等待网页完全渲染完毕。还有一个问题就是运行爬虫程序时，会打开一个浏览器窗口。这个爬虫写的不是很好，仅仅简单实现了我保存图片的需求而已。等日后有了更精的技术再来完善吧，如果有有缘人能看到，还请多多提意见。最后附上爬虫程序地址。

【2】github：爬虫源码