python多级网址爬取_python-29：多级页面爬取源码

我们再来看看前面说的3个步骤：

将首页的url传入，通过RE将源码中相册的网址获取出来

将相册的网址作为url传入

通过RE获取相册中相片的网址

代码如下：

#!/usr/bin/env python

# -*- coding: UTF-8 -*-

__author__ = '217小月月坑'

'''

从第一页跳转到第二页并获得图片的地址

'''

import urllib2

import re

# 极视界首页网址

url = 'http://product.yesky.com/more/506001_31372_photograph_1.shtml'

user_agent = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:40.0) Gecko/20100101 Firefox/40.0'

headers = {'User-Agent':user_agent}

try:

request = urllib2.Request(url,headers=headers)

response = urllib2.urlopen(request)

conents = response.read().decode("gbk")

# 获取相册网址和相册名字

pattern = re.compile(r'

items = re.findall(pattern,conents)

for info_url in items:

print info_url[0],info_url[1]

# 将相册网址传入

info_response = urllib2.urlopen(info_url[0])

info_conents = info_response.read().decode("gbk")

# 获取图片网址

info_pattern = re.compile(r'

img_urls = re.findall(info_pattern,info_conents)

for img_url in img_urls:

print img_url

except urllib2.URLError,e:

if hasattr(e,"code"):

print e.code

if hasattr(e,"reason"):

e.reason

输出结果：

python多级网址爬取_python-29：多级页面爬取源码相关推荐

python模拟登录淘宝_Python模拟登陆淘宝示例源码
[实例简介] [实例截图] [核心代码] # -*- coding: utf-8 -*- import requests import re class TaoBao: def __init__(se ...
python做一个考试系统_python考试系统相关实例(示例源码)下载 - 好例子网
开发语言:Python | 大小:0.02M | 发布时间:2016-07-07 | 发布人:linq 相关标签: 立即下载开发语言:Python | 大小:0.21M | 发布时间:2020-08 ...
python抠出图片人像_Python+Paddlehub相片人像抠图精简源码实例
Python+Paddlehub相片人像抠图实例无需PS软件,手动制作自己的抠图工具,在只有一张图片,需要细致地抠出人物的情况下,能帮你减少抠图步骤;在有多张图片需要抠的情况下,能直接帮你输出这些人 ...
python编程超市购物系统_python 自动购物系统超简单源码（入门级）
[实例简介] 用户管理购物系统 [实例截图] [核心代码] choice = input("""请输入你需要的业务: 1).购买商品: 2).管理员查询输入:" ...
python修改xml保留注释_Python批量修改XML，附源码，需要安装PY 3.7.2
本帖最后由 fenrir 于 2019-11-7 00:27 编辑 XML干啥的? 360截图20191106214044006.jpg (23.15 KB, 下载次数: 0) 2019-11-6 2 ...
Python 爬虫之爬虫的一些基本知识和基本操作（爬取视频、图片、获取网页源码等）整理
Python 爬虫之爬虫的一些基本知识和基本操作(爬取视频.图片.获取网页源码等)整理目录
第三百四十五节，Python分布式爬虫打造搜索引擎Scrapy精讲—爬虫和反爬的对抗过程以及策略—scrapy架构源码分析图...
第三百四十五节,Python分布式爬虫打造搜索引擎Scrapy精讲-爬虫和反爬的对抗过程以及策略-scrapy架构源码分析图 1.基本概念 2.反爬虫的目的 3.爬虫和反爬的对抗过程以及策略 scra ...
wallpaper代码_五行Python代码自动换你的电脑桌面壁纸（内附源码和exe）
很多行友问行哥,Python能不能自动更换电脑壁纸呀,今天它来了只需要一行代码,指定图片地址即可更换电脑桌面.加上壁纸文件夹路径,让你随机更换电脑桌面,带来不期而遇的新鲜.使用爬虫技术,自动下载壁纸 ...
基于Python的旅游管理系统微信小程序设计与实现毕业论文+项目源码及数据库
源码获取:我的博客资源页面可以下载!!!! 项目名称基于Python的旅游管理系统微信小程序设计与实现毕业论文+项目源码及数据库系统说明本商业旅游系统可以分为三个部分,即微信小程序的手机客户端 ...
【爬虫实战项目】Python爬虫批量下载评书音频并保存本地（附源码）
前言今天给大家介绍的是Python爬虫批量下载评书音频并保存本地,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这 ...

python多级网址爬取_python-29：多级页面爬取源码

python多级网址爬取_python-29：多级页面爬取源码相关推荐

最新文章

热门文章