urlencode python_python爬虫之url中的中文问题
在python的爬虫学习中,我们的url经常出现中文的问题,
我们想要访问的url就需要对url进行拼接,变成浏览器可以识别的url
在python中已经有了这样的模块了,这就是urlencode
urlencode需要对中文和关键字组成一对字典,然后解析成我们的url
在python2中是
urllib.urlencode(keyword)
在Python中是
urllib.parse.urlencode(keyword)
查看一下代码:
python2
import urllib
import urllib2
#例如我们需要在百度上输入个关键字哈士奇进行查询,但是哈士奇是中文的,我们需要对哈士奇进行编码
keyword = {"wd":"哈士奇"}
head_url = "http://www.baidu.com/s"
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}
wd = urllib.urlencode(keyword)
url = head_url +"?"+ wd
req = urllib2.Request(url,headers=headers)
response = urllib2.urlopen(req)
html = response.read()
print(url)
print(html.count('哈士奇'))
结果如下:
在python3中:
# -*- coding: utf-8 -*-
# File : url中出现的中文问题.py
# Author: HuXianyong
# Date : 2018-09-13 17:39
from urllib import request
import urllib
#例如我们需要在百度上输入个关键字哈士奇进行查询,但是哈士奇是中文的,我们需要对哈士奇进行编码
keyword = {"wd":"哈士奇"}
head_url = "http://www.baidu.com/s"
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}
wd = urllib.parse.urlencode(keyword)
url = head_url +"?"+ wd
req = request.Request(url,headers=headers)
response = request.urlopen(req)
html = response.read()
print(html.decode().count("哈士奇"))
print(url)
结果如下:
如果需要吧转换的字符变成中文
可以用unquota
如下:
python2
In [25]: dic = {"say":"你好!"}
In [26]: urllib.urlencode(dic)
Out[26]: 'say=%E4%BD%A0%E5%A5%BD%21'
In [27]: aa = urllib.urlencode(dic)
In [28]: aa
Out[28]: 'say=%E4%BD%A0%E5%A5%BD%21'
In [29]: bb = urllib.unquote(aa)
In [30]: bb
Out[30]: 'say=\xe4\xbd\xa0\xe5\xa5\xbd!'
In [31]: print(bb)
say=你好!
python3
In [16]: dic = {"say":"你好!"}
In [17]: aa = urllib.parse.urlencode(dic)
In [18]: aa
Out[18]: 'say=%E4%BD%A0%E5%A5%BD%21'
In [19]: bb = urllib.parse.unquote(aa)
In [20]: bb
Out[20]: 'say=你好!'
但是如果我们的是post请求数据需要加在data里面这样就还需要对data做处理,不然会报字符串的错:
TypeError: POST data should be bytes or an iterable of bytes. It cannot be of type str.
这样的解决方法是需要加上个编码
data = urllib.parse.urlencode(formData).encode(encoding="UTF8")
代码如下:
# -*- coding: utf-8 -*-
# File : Ajax爬取豆瓣电影列表.py
# Author: HuXianyong
# Date : 2018-09-14 14:35
import urllib
from urllib import request
url = "https://movie.douban.com/j/new_search_subjects?"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}
formData = {
"sort": "S",
"range": "0,10",
"tags": "电影,魔幻",
"start": "0",
"genres": "剧情"
}
data = urllib.parse.urlencode(formData).encode(encoding="UTF8")
req = request.Request(url=url,data=data,headers=headers)
response = request.urlopen(req)
move_info = response.read().decode()
print(response.read().decode())
urlencode python_python爬虫之url中的中文问题相关推荐
- urlencode quote unquote (url 中带中文参数)
目录: urlencode & quote & unquote (url 中带中文参数) python httplib urllib urllib2区别(一撇) 当url地址含有中文或 ...
- Java对URL中的中文进行UrlEncode转码
Java对URL中的中文进行UrlEncode urleocode只是为了url中一些非ascii字符,可以正确无误的被传输. 而且有的含有中文或者特殊字符的url不能被识别,因此需要进行Encode ...
- java.net.url 中文乱码_asp.net URL中包含中文参数造成乱码的解决方法
asp.net URL中包含中文参数造成乱码的解决方法 更新时间:2010年03月08日 21:44:27 作者: 中文乱码一直以来是WEB开发中比较常见的问题之一,对于初学者来说,各种各样的编码 ...
- 在URL中传递中文的解决方式
在URL中传递中文的解决方式 2015年05月13日 17:13:55 thinkinglink 阅读数:10321 标签: URL编码中文编码乱码解决 更多 个人分类: web前端 在URL中传递中 ...
- jquery.ajax的url中传递中文乱码问题的解决方法
jquery.ajax的url中传递中文乱码问题的解决方法 JQuery JQuery默认的contentType:application/x-www-form-urlencoded 这才是JQuer ...
- Js的Url中传递中文参数乱码的解决
一:Js的Url中传递中文参数乱码问题,重点:encodeURI编码,decodeURI解码: 1.传参页面 Javascript代码: 2. 接收参数页面:test02.html 二:如何获取Url ...
- url中传递中文参数时的转码与解码
URL传递中文参数时的几种处理方式,总结如下: 1.将字符串转码:newString("xxxxx".getBytes("iso-8859-1")," ...
- url中携带中文乱码问题
1.问题描述 在项目中碰见url中经常传递中文参数时,容易出现乱码问题,现在就这个问题产生原因和解决的措施大概分析一下,希望过路人和我能引以为戒. 2.问题分析 由于我们利用URL传递参数这种方式是依 ...
- URL传参时 从URL中获取中文参数的方法
利用url传参时如果url中的参数是中文时因为编码类型不同在页面中获取会出现乱码 使用此方法能获取url中的参数值 并解决乱码问题 调用时直接 GetUrlByParamName("参数名& ...
最新文章
- Ubuntu18.04 网络配置
- 任正非:华为自己做芯片很难,咬着牙慢慢挺过来了
- PHP MemCached win安装
- Python 计算各类距离
- 安装好Pycharm后如何配置Python解释器简易教程
- Linux 信号signal处理函数--转
- 只有想不到,「99」种扩展Jupyter功能的好方法
- 显示行号 visual studio 1006
- 从环境搭建探讨做事的方法
- AI如何在医疗中大显身手?
- echarts柱状图的宽度
- java cad polyline,为AUTOCAD编写系列批量处理程序
- 键入一个字母,如果小写字母输出大写,大写字母输出小写字母
- Competition2:HRZ学英语
- 微信的企业号开发流程
- 让子弹再飞一会:游戏中关于碰撞体积的趣闻
- JavaWEB(AJAX实现分页)
- one 主格 复数 宾格_英语主格宾格形容词性物主代词及名词性物主代词练习题.doc...
- Renix签名字段详解——网络测试仪实操
- IDEA太强悍了!java导出excel合并单元格边框设置
热门文章
- SQL语句中用Parameters有什么好处
- ASP.NET入门五步详解
- 结合Selenium 和 Requests完成动态数据爬取
- PHP.ini 中的错误提示
- CSS五种水平居中:text-align margin incline-block flex relative
- PHP路径realpath __FILE__ __DIR__ dirname
- Linux报错nginx: [emerg] unexpected “}”
- Yii的where中的in写法
- c4d支持mac系统渲染器有哪些_在macOS Catalina发布前检查哪些应用程序不支持64位系统...
- PHP生成唯一订单号