python urldecode_Python 爬虫笔记2一（编码转码urlencode与unquote）

当url地址含有中文或者“/”的时候，这是就需要用做urlencode一下编码转换。

urlencode的参数是词典，它可以将key-value这样的键值对转换成我们想要的格式。如果你用的是python2.*，urlencode在urllib.urlencode。如果使用的是python3，urlencode在urllib.parse.urlencode

例如

import urllib.parse

data={"name":"王尼玛","age":"/","addr":"abcdef"}

print(urllib.parse.urlencode(data))

输出为

addr=abcdef&name=%E7%8E%8B%E5%B0%BC%E7%8E%9B&age=%2F

如果只想对一个字符串进行urlencode转换，怎么办？urllib提供另外一个函数：quote()

print(urllib.parse.quote("hahaha你好啊！"))

输出为

hahaha%E4%BD%A0%E5%A5%BD%E5%95%8A%EF%BC%81

当urlencode之后的字符串传递过来之后，接受完毕就要解码了——urldecode。urllib提供了unquote()这个函数，可没有urldecode()！

import urllib.parse

data={"name":"王尼玛","age":"/","addr":"abcdef"}

print(urllib.parse.urlencode(data))

print(urllib.parse.quote("hahaha你好啊！"))

print(urllib.parse.unquote("hahaha%E4%BD%A0%E5%A5%BD%E5%95%8A%EF%BC%81"))

输出

addr=abcdef&name=%E7%8E%8B%E5%B0%BC%E7%8E%9B&age=%2F

hahaha%E4%BD%A0%E5%A5%BD%E5%95%8A%EF%BC%81

hahaha你好啊！

在做urldecode的时候，看unquote()这个函数的输出，是对应中文在gbk下的编码，在对比一下quote()的结果不难发现，所谓的urlencode就是把字符串转车gbk编码，然后把\x替换成%。如果你的终端是utf8编码的，那么要把结果再转成utf8输出，否则就乱码。

可以根据实际情况，自定义或者重写urlencode()、urldecode()等函数。

如果要抓取百度上面搜索关键词为“王尼玛的体重”的网页, 则代码如下

import urllib

import urllib.request

data={}

data['word']="王尼玛的体重"

url_values=urllib.parse.urlencode(data)

url="http://www.baidu.com/s?"

full_url=url+url_values

data=urllib.request.urlopen(full_url).read()

data=data.decode('UTF-8')

print(data)

python urldecode_Python 爬虫笔记2一（编码转码urlencode与unquote）相关推荐

Python 网络爬虫笔记8 -- 股票数据定向爬虫
Python 网络爬虫笔记8 – 股票数据定向爬虫 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Pyth ...
Python 网络爬虫笔记1 -- Requests库
Python 网络爬虫笔记1 – Requests库 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Pyt ...
Python 网络爬虫笔记11 -- Scrapy 实战
Python 网络爬虫笔记11 – Scrapy 实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Py ...
Python 网络爬虫笔记10 -- Scrapy 使用入门
Python 网络爬虫笔记10 – Scrapy 使用入门 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接: ...
Python 网络爬虫笔记9 -- Scrapy爬虫框架
Python 网络爬虫笔记9 – Scrapy爬虫框架 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Py ...
Python 网络爬虫笔记6 -- 正则表达式
Python 网络爬虫笔记6 – 正则表达式 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Python网 ...
Python 网络爬虫笔记5 -- Beautiful Soup库实战
Python 网络爬虫笔记5 – Beautiful Soup库实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. ...
Python 网络爬虫笔记4 -- 信息标记与提取
Python 网络爬虫笔记4 – 信息标记与提取 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Pytho ...
Python 网络爬虫笔记3 -- Beautiful Soup库
Python 网络爬虫笔记3 – Beautiful Soup库 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程 ...

python urldecode_Python 爬虫笔记2一（编码转码urlencode与unquote）

python urldecode_Python 爬虫笔记2一（编码转码urlencode与unquote）相关推荐

最新文章

热门文章