[python]python urllib 模块

Urllib是python内置的HTTP请求库

包括以下模块

urllib.request 请求模块

urllib.error 异常处理模块

urllib.parse url解析模块

urllib.robotparser robots.txt解析模块

request

urllib.requeset.urlopen(url,data,timeout)

request = urllib.request.Request('https://python.org')

response = urllib.request.urlopen(request)

print(response.read().decode('utf-8'))

添加头部参数

dict={“name”:”hello”}

data = bytes(urllib.parse.urlencode(dict), encoding='utf8')

response = urllib.request.urlopen('http://baidu.com', data=data)

print(response.read()

data参数的时候就是以post请求方式请求，如果没有data参数就是get请求方式

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36'}url='http://www.baidu.com'req = urllib.request.Request(url=url,headers=header)req.add_header("key","value")response=urllib.request.urlopen(req)data=response.read().decode('utf-8')print(data)f=open('baidu.txt','a+',encoding='utf-8')f.write(data)f.close;

使用代理:

使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽

url='http://www.baidu.com'proxy_addr='12.17.171.129:8080'proxy=urllib.request.ProxyHandler({'http':proxy_addr})opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)urllib.request.install_opener(opener)data=urllib.request.urlopen(url).read().decode('utf8')print(data)

[python]python urllib 模块相关推荐

python下载网页中的pdf文件_【Python】Python的urllib模块、urllib2模块批量进行网页下载文件...
由于需要从某个网页上下载一些PDF文件,但是需要下载的PDF文件有几百个,所以不可能用人工点击来下载.正好Python有相关的模块,所以写了个程序来进行PDF文件的下载,顺便熟悉了Python的url ...
python爬虫-urllib模块
urllib 模块是一个高级的 web 交流库,其核心功能就是模仿web浏览器等客户端,去请求相应的资源,并返回一个类文件对象.urllib 支持各种 web 协议,例如:HTTP.FTP.Gophe ...
python爬虫urllib模块详解
1.urllib模块简介 python2有urllib和urllib2两种模块,都用来实现网络请求的发送.python3将urllib和urllib2模块整合并命名为urllib模块.urllib模块 ...
python笔记 - urllib模块（二十一）
urllib库用于操作网页 URL,并对网页的内容进行抓取处理包含以下模块: urllib.request 打开和读取URL urllib.error 包含urllib.request抛出的异常 u ...
python中urllib模块安装_python如何安装urllib
urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib.基本上涵盖了基础的网络请求功能. 该库有四个模块, ...
python urllib.request 爬虫数据处理-python爬虫 urllib模块url编码处理
案例:爬取使用搜狗根据指定词条搜索到的页面数据(例如爬取词条为"周杰伦'的页面数据) import urllib.request # 1.指定url url = 'https://www.s ...
python urllib.request 爬虫数据处理-python爬虫 urllib模块url编码处理详解
案例:爬取使用搜狗根据指定词条搜索到的页面数据(例如爬取词条为"周杰伦'的页面数据) import urllib.request # 1.指定url url = 'https://www.s ...
python使用urllib模块开发的多线程豆瓣小站mp3下载器
#! /usr/bin/python2.7 # -- coding:utf-8 -- import os, urllib,urllib2, thread,threading import re #匹配 ...
pythonurllib模块-Python urllib模块与urlopen()函数解析
Python urllib 库提供了一个从指定的 URL 地址获取网页数据,然后对其进行分析处理,获取想要的数据. 下面是在 Python Shell 里的 urllib 的使用情况: Python ...
pythonurllib模块-Python中的urllib模块使用详解
urllib模块提供的上层接口,使我们可以像读取本地文件一样读取www和ftp上的数据.每当使用这个模块的时候,老是会想起公司产品的客户端,同事用C++下载Web上的图片,那种"痛苦&quo ...

[python]python urllib 模块

[python]python urllib 模块相关推荐

最新文章

热门文章