python3 urlencode_Python3 parse.urlencode() 与parse.unquote()
URL编码与解码
一.parse.urlencode() 与parse.unquote()
urllib 和urllib.request都是接受URL请求的相关模块,但是提供了不同的功能。两个最显著的不同如下:
1.urllib 仅可以接受URL,不能创建 设置了headers 的Request 类实例;
2.但是 urllib 提供 urlencode 方法用来GET查询字符串的产生,而urllib.request 则没有。(这是 urllib 和urllib.request 经常一起使用的主要原因)
3.编码工作使用urllib的parse.urlencode()函数,帮我们将key:value这样的键值对转换成"key=value"这样的字符串,解码工作可以使用urllib的parse.unquote()函数。(注意,不是urllib.request.urlencode() )
例子一
#导入parse模块
from urllib import parse
import urllib.request
url = 'https://www.baidu.com/s?'
#定义一个字典
wd ={"wd":"传智播客"}
# urlencode() 接受的参数是一个字典
pw=parse.urlencode(wd)
print(pw)
wd1 ={"wd1":"传"}
pw1=parse.urlencode(wd1)
print(pw1)
wd2={"wd2":"智"}
pw2=parse.urlencode(wd2)
print(pw2)
wd3={"wd3":"播"}
pw3=parse.urlencode(wd3)
print(pw3)
wd4={"wd4":"客"}
pw4=parse.urlencode(wd4)
print(pw4)
# 通过parse.unquote()方法进行解码,把 URL编码字符串,转换回原先字符串。
print(parse.unquote("wd=%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2"))
运行的结果:
wd=%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2
wd1=%E4%BC%A0
wd2=%E6%99%BA
wd3=%E6%92%AD
wd4=%E5%AE%A2
wd=传智播客
二.URL编码与解码工具
http://tool.chinaz.com/Tools/urlencode.aspx
URL编码与解码
三.一般HTTP请求提交数据,需要编码成 URL编码格式,然后做为url的一部分,或者作为参数传到Request对象中。
Get方式
urllib库与urllib.request库的结合应用
例子一:贴吧小爬虫案例
from urllib import parse
import urllib.request
url ='https://www.baidu.com/s'
header={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
}
keyword = input("请输入需要查询的字符串:")
wd={"wd":keyword }
wd=parse.urlencode(wd)
#拼接完整的URL
fullurl =url+"?"+wd
print(fullurl)
# url 作为Request()方法的参数,构造并返回一个Request对象
request = urllib.request.Request(fullurl,headers=header)
# Request对象作为urlopen()方法的参数,发送给服务器并接收响应
response = urllib.request.urlopen(request)
html = response.read()
print(html)
运行结果:
例子二:批量爬取贴吧页面数据
第一步:先观察贴吧各页之间的规律
第一页:http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0
第二页: http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
从中得出分页之间的规律:pn = (page - 1) * 50
步骤分析:
简单写一个小爬虫程序,来爬取百度贴吧的所有网页。
先写一个main,提示用户输入要爬取的贴吧名,并用parse.urlencode()进行转码,然后组合url,假设是lol吧,那么组合后的url就是:http://tieba.baidu.com/f?kw=lol
#模拟 main函数
if __name__ == "__main__":
kw = input("请输入需要爬取的贴吧:")
# 输入起始页和终止页,str转成int类型
beginPage = int(input("请输入起始页:"))
endPage = int(input("请输入终止页:"))
url = "http://tieba.baidu.com/f?"
key = parse.urlencode({"kw" : kw})
# 组合后的url示例:http://tieba.baidu.com/f?kw=lol
url = url + key
print(url)
tiebaSpider(url, beginPage, endPage)
接下来,我们写一个百度贴吧爬虫接口,我们需要传递3个参数给这个接口,一个是main里组合的url地址,以及起始页码和终止页码,表示要爬取页码的范围。
def tiebaSpider(url, beginPage, endPage):
"""
作用:负责处理url,分配每个url去发送请求
url:需要处理的第一个url
beginPage: 爬虫执行的起始页面
endPage: 爬虫执行的截止页面
"""
for page in range(beginPage, endPage + 1):
pn = (page - 1) * 50
filename = "第" + str(page) + "页.html"
# 组合为完整的 url,并且pn值每次增加50
fullurl = url + "&pn=" + str(pn)
print(fullurl)
print(filename)
#print fullurl
# 调用loadPage()发送请求获取HTML页面
html = loadPage(fullurl, filename)
# 将获取到的HTML页面写入本地磁盘文件
writeFile(html, filename)
写一个爬取网页的函数loadPage
def loadPage(url, filename):
'''
作用:根据url发送请求,获取服务器响应文件
url:需要爬取的url地址
filename: 处理的文件名
'''
print("正在下载" + filename)
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
}
request = urllib.request.Request(url, headers = headers)
response = urllib.request.urlopen(request)
return response.read()
最后如果我们希望将爬取到了每页的信息存储在本地磁盘上,我们可以简单写一个存储文件的接口。
def writeFile(html, filename):
"""
作用:保存服务器响应文件到本地磁盘文件里
html: 服务器响应文件
filename: 本地磁盘文件名
"""
print "正在存储" + filename
with open(filename, 'w') as f:
f.write(html)
print "-" * 20
完整的程序实现:
__author__ = 'Administrator'
# date: 2018/5/13
from urllib import parse
import urllib.request
def loadPage(url, filename):
'''
作用:根据url发送请求,获取服务器响应文件
url:需要爬取的url地址
filename: 处理的文件名
'''
print("正在下载" + filename)
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
}
request = urllib.request.Request(url, headers = headers)
response = urllib.request.urlopen(request)
return response.read()
def writeFile(html, filename):
"""
作用:保存服务器响应文件到本地磁盘文件里
html: 服务器响应文件
filename: 本地磁盘文件名
"""
print("正在存储" + filename)
with open(filename, 'w') as f:
f.write(html)
print("-" * 20)
def tiebaSpider(url, beginPage, endPage):
"""
作用:负责处理url,分配每个url去发送请求
url:需要处理的第一个url
beginPage: 爬虫执行的起始页面
endPage: 爬虫执行的截止页面
"""
for page in range(beginPage, endPage + 1):
pn = (page - 1) * 50
filename = "第" + str(page) + "页.html"
# 组合为完整的 url,并且pn值每次增加50
fullurl = url + "&pn=" + str(pn)
print(fullurl)
print(filename)
#print fullurl
# 调用loadPage()发送请求获取HTML页面
html = loadPage(fullurl, filename)
# 将获取到的HTML页面写入本地磁盘文件
writeFile(html, filename)
# 模拟 main 函数
if __name__ == "__main__":
kw = input("请输入需要爬取的贴吧:")
# 输入起始页和终止页,str转成int类型
beginPage = int(input("请输入起始页:"))
endPage = int(input("请输入终止页:"))
url = "http://tieba.baidu.com/f?"
key = parse.urlencode({"kw" : kw})
# 组合后的url示例:http://tieba.baidu.com/f?kw=lol
url = url + key
print(url)
tiebaSpider(url, beginPage, endPage)
-------------------------------
个人今日头条账号: 听海8 (上面上传了很多相关学习的视频以及我书里的文章,大家想看视频,可以关注我的今日头条)
python3 urlencode_Python3 parse.urlencode() 与parse.unquote()相关推荐
- Python3 parse.urlencode() 与parse.unquote()
URL编码与解码 一.parse.urlencode() 与parse.unquote() urllib 和urllib.request都是接受URL请求的相关模块,但是提供了不同的功能.两个最显著的 ...
- 一木.溪桥学爬虫-03:请求模块urllib、 urllib.request、urllib.parse.urlencode、urllib.parse.quote(str)、.unquote()
一木.溪桥 在Logic Education跟Jerry学爬虫 07期:Python 爬虫 一木.溪桥学爬虫-03:请求模块urllib. urllib.request.urllib.parse.ur ...
- 详解Python3的urllib.parse.urlencode函数
参考资料: Python3的urllib.parse常用函数小结 data=bytes(urllib.parse.urlencode({"name":"Jack" ...
- [转载]urllib.parse.urlencode转换get请求参数(resquest中带中文的情况)
浏览器地址栏搜索 刘若英 https://www.baidu.com/s?word=刘若英&tn=71069079_1_hao_pg&ie=utf-8 但是复制到文件中是这样的: ht ...
- 解决npm ERR! JSON.parse Failed to parse json
npm ERR! code EJSONPARSE npm ERR! JSON.parse Failed to parse json 问题出现形式如下: 错误原因是:package.json文件的格式问 ...
- datetime parse java_Java LocalDateTime parse()用法及代码示例
在LocalDateTime类中,根据传递给它的参数,有两种类型的parse()方法. parse(CharSequence text) LocalDateTime类的parse()方法用于从作为参数 ...
- date parse java_Java LocalDate parse()用法及代码示例
在LocalTime类中,根据传递给它的参数,有两种类型的parse()方法. parse(CharSequence text) LocalTime类的parse()方法用于从作为参数传递的字符串(例 ...
- python3 url decode_python3 urlencode 和 urldecode 使用
# python3 urlencode 和 urldecode ## 故事背景 当我们在浏览器搜索内容时会发现浏览器会自动的将我们输入的内容转化为带有 很多`%` 的地址如下所示: > http ...
- Oracle-Soft Parse/Hard Parse/Soft Soft Parse解读
概述 在Oracle中存在两种类型的SQL语句: 一类为 DDL语句(数据定义语言)CREATE,DROP,ALTER,他们是从来不会共享使用的,也就是每次执行都需要进行硬解析. 一类就是DML语句( ...
- JSON.parse Failed to parse json
检查vue中 json文件 原因是在json文件里 加了 //注释 去掉就可以了
最新文章
- CI框架 -- 附属类
- Android之平台架构
- React Native登录注册页面实现空白处收起键盘
- pyqt 获取 UI 中组件_一起学Vue:UI框架(elementui)
- 看完微软大神写的求平均值代码,我意识到自己还是 too young 了
- 【设计模式】第一章 面向对象六大原则
- Echarts数据可视化event图表事件的相关操作,开发全解+完美注释
- Ubuntu创建快捷方式
- Output path is shared between the same module error
- 小爱同学app安卓版_小爱同学app下载-小米小爱同学下载2.9.21安卓版-西西软件下载...
- 深入贯彻落实 Activity 的四种启动模式
- ACCESS使用技巧三则
- Pytorch错误:RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 1. Got 6
- 利用selenium webdriver下载不同类型的文件(pdf,txt等等)
- php总结与展望_2018年的总结划下句号,展望2019
- 2018(农历年)封山之作,和我一起嚼烂Git(两万字长文)
- Spark Skew Join Optimization
- stormzhang的自我介绍
- python 修改图片尺寸_用Python更改图片尺寸大小
- matlab tic tac toe,详解Tic-Tac-Toe人工智能实现
热门文章
- STM32F103单片机使用ULN2003驱动步进电机
- android课程设计体重测量仪,数字身高体重测量仪毕业设计样本.docx
- Visual Studio MFC编程 程序调试时所遇到的问题及解决方法
- 奥创软件研究院 张启程同学 受邀成为PostgreSQL 2018 中国技术大会分享嘉宾
- Android实现通话呼叫转移与监听通话录音功能
- ConstraintLayout比重和宽高比这样用
- 【Apollo】【driver】【gnss】适配新的gps设备的方式与经验总结
- B1299 [LLH邀请赛]巧克力棒 博弈论
- 正态分布及其概率计算
- 【一】微信公众号之扫码登录