python爬虫抓取app列表的图标

爬虫简介

所谓的爬虫简单来说，就是通过不断的变化http请求的url，向服务器进行请求，从而获得服务器返回的相关数据，在这些数据中提取对自己有用的信息。

爬虫的步骤

构造url。根据自己想要抓取的信息，构造出相应的url。

请求url。根据上面构造的url，向服务器发起请求。(在python中可以用urllib、request库等)

提取数据。向服务器发起请求后，服务器会返回相关的数据(如：html、json、xml)，在这些数据中提取对自己有用的信息(可以用正则表达式、BeautifulSoup、json、lxml等)。

保存数据。已特定的格式(csv文件)保存上面提取的数据，以便于后面进行数据分析。

例子

使用爬虫抓取app列表的图标，如微信、QQ、今日头条等。

构造url

打开豌豆荚首页，在搜索框中输入微信，进行搜索。豌豆荚服务器返回下图的页面，有搜索到app列表的信息和图标。

weixin.png

从上面的3个不同的app的http请求，我们可以发现，只是搜索的key值有所不同，比如微信的key为%E5%BE%AE%E4%BF%A1，QQ的key为QQ，今日头条的key为%E5%BE%AE%E4%BF%A1。这些值对应字符的utf-8编码 + url编码。也是说微信的utf-8为E5 BE AE E4 BF A1，格式化为url编码就是：%E5%BE%AE%E4%BF%A1。

所以对于不同的app应用要构造出不同请求的url，我们只需要改变上面http请求的key值，再向豌豆荚的服务器发送请求即可。

请求url

在python中可以使用urllib、request库等。

提取数据

发送http请求后，豌豆荚服务器会返回搜索的app列表。可以看到是一个html文档。用Chrome浏览器，查看返回的html文档，定位到相关的信息。如下图，可以看到，微信的图标的链接地址。这就是我们需要提取的数据。

img_link.png

在python中我们可以使用正则表达式来提取图标的链接地址，或者对于html可以使用BeautifulSoup来提取。

保存数据

上面提取的是图标的链接地址，我们可以再次用这个链接地址发起http请求，就可以得到相应图标的数据，然后把数据保存到磁盘中即可。

代码如下：

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

"""从豌豆荚应用市场抓取app列表的图标"""

from urllib.parse import quote

from urllib import request

from functools import wraps

import re

__author__ = 'heql'

def url_decorate(func):

@wraps(func)

def wrapper(*args, **kwargs):

print(*args)

if args:

return func(*args)

return wrapper

@url_decorate

def request_url(url):

"""请求url"""

cnt = 3

for i in range(cnt):

try:

with request.urlopen(url, timeout=20) as f:

return f.read()

except Exception as e:

if(i < cnt - 1):

print('request again')

else:

print('except:', e)

def save_icon(file_name, data):

with open(file_name, 'wb') as f:

f.write(data)

def get_icon_links(data, app_name, compare=None):

"""提取图标的链接"""

items = re.findall(r'(