从零开始，手把手教你python爬取美足船袜网！

目标网址：http://mzsock.com 美足船袜网
你懂得！！

这里先给大家介绍一个python自带的库：urllib.request
urllib.request --- 用于打开 URL 的可扩展库

使用库之前要引用，urllib.request是标准库，安装就自带，所以直接引用就好了！

官方文档：https://docs.python.org/zh-cn/3.7/library/urllib.request.html
大家可以自行查看和了解，也可以百度搜索了解它的用法！
引用方法

from urllib import request

你可以理解为从urllib包里使用request

这里为大家介绍我们需要使用到urllib.request 库的用法，也是比较常用的用法：
1.urlopen
打开指定的网页

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

url参数，可以是一个string，或者一个Request对象。 data一定是bytes对象，传递给服务器的数据，或者为None。目前只有HTTP requests会使用data，提供data时会是一个post请求，如若没有data，那就是get请求。data在使用前需要使用urllib.parse.urlencode()函数转换成流数据。

具体使用：
resp=request.urlopen('目标网址')
比如：打开百度

from urllib import requestresp=request.urlopen('http://www.baidu.com')
print(type(resp))
#可以看出，urlopen返回的是一个HTTPResponse对象

这里我们返回的是一个HTTPResponse对象，那么怎么变成我们想要的源码文本呢？
很简单，第二个用法，直接后面加.read()

2.req.read()
把我们想要的内容读取出来

response = request.urlopen(url)
req=response.read()

3.最后一个字符转换，你经过上面的步骤，你会发现返回的是乱码，其实返回的是bytes对象，这里我们需要转码我们熟悉的编码格式，一般是"utf-8"，
后面直接加.decode("utf-8")
由于urlopen无法判断数据的encoding，所以返回的是bytes对象。一般会对返回的数据进行decode。

response = request.urlopen(url)
req=response.read()
req=req.decode('utf-8')

现在我们可以尝试打开我们想要爬取的目标网址了！

from urllib import requesturl = "http://mzsock.com"
response = request.urlopen(url)
print(response)
req=response.read()
print(req)
reqs=req.decode('utf-8')
print(reqs)

然后里用正则提取我们想要的部分就可以了！！！

从零开始，手把手教你python爬取美足船袜网！相关推荐

python爬取资料怎么样_手把手教你Python爬取新房数据
原标题:手把手教你Python爬取新房数据项目背景新房数据,对于房地产置业者来说是买房的重要参考依据,对于房地产开发商来说,也是分析竞争对手项目的绝佳途径,对于房地产代理来说,是踩盘前的重要准备. ...
手把手教你Python爬取女神套图
疲惫的生活里总要有些温柔梦想吧目标URL:http://www.win4000.com/meinvtag4_1.html 爬取美桌网某个标签下的美女壁纸,点进详情页可以发现,里面是一组套图一.网页 ...
福利！手把手教你Python爬取女神套图
Python实战社群 Java实战社群长按识别下方二维码,按需求添加扫码关注添加客服进Python社群▲ 扫码关注添加客服进Java社群▲ 作者:叶庭云来源:凹凸数据作者:叶庭云 CSDN ...
福利来了！手把手教你Python爬取女神套图
疲惫的生活里总要有些温柔梦想吧目标URL:http://www.win4000.com/meinvtag4_1.html 爬取美桌网某个标签下的美女壁纸,点进详情页可以发现,里面是一组套图一.网页 ...
python爬取2019年计算机就业_2019年最新Python爬取腾讯招聘网信息代码解析
原标题:2019年最新Python爬取腾讯招聘网信息代码解析前言初学Python的小伙们在入门的时候感觉这门语言有很大的难度,但是他的用处是非常广泛的,在这里将通过实例代码讲解如何通过Python ...
【考公人的福利】Python爬取中公官网资料
[考公人的福利]Python爬取中公官网资料一.简述二.代码三.运行结果一.简述写这个代码的目的是能够高效率提取中公官网的资料,例如:申论.行测.面试热点.公安基础知识等.大家可以根据个人需 ...
Python爬取美剧《纸牌屋》字幕（可可英语）---BeautifulSoup版
爬虫还是不会写,所以借鉴一个,仔细分析分析:https://blog.csdn.net/only_anan/article/details/80082316 1,导入爬取要用到的库,主要是是Beaut ...
python爬取智联招聘网_Python-爬取智联招聘
import urllib.request import urllib.parse from bs4 import BeautifulSoup import json import time clas ...
Python爬取智联招聘网之贵阳python求职信息
智联招聘(NYSE:ZPIN):为求职者提供免费注册.求职指导.简历管理.职业测评等服务的一个网站,它提供了丰富的求职信息,可以很快的查询到符合自己职位.如我查询贵州python职位需求的信息. 智联 ...

从零开始，手把手教你python爬取美足船袜网！

从零开始，手把手教你python爬取美足船袜网！相关推荐

最新文章

热门文章