python爬虫urllib文档_11.【文本】Urllib(下) - 零基础学习Python爬虫系列
本文是视频av20148524的相关代码文档
# urllib(下)
# post
# post 和 get 传递参数同时存在的一个url
url = "http://bbs.mumayi.com/member.php?mod=logging&action=login&loginsubmit=yes&infloat=yes&lssubmit=yes&inajax=1"
def getHeaders(temp_header="LwAk_3bcd_lastact=1519728938%09member.php%09logging;"):
headers = {
'Accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
'Accept-Language': "zh-CN,zh;q=0.9,en;q=0.8",
'Cache-Control': "no-cache",
'Connection': "keep-alive",
'Cookie': "UM_distinctid=161d6e3534b2f5-01a7656f105614-32677b04-1aeaa0-161d6e3534cdc4; CNZZDATA30029311=cnzz_eid%3D572485951-1519727285-null%26ntime%3D1519727285; Hm_lvt_6d98eb77bfb4eda47bbaf129bdef0361=1519728678; LwAk_3bcd_pc_size_c=0; LwAk_3bcd_saltkey=ka871zV4; LwAk_3bcd_lastvisit=1519725234; LwAk_3bcd_noticeTitle=1; LwAk_3bcd_sendmail=1; Hm_lpvt_6d98eb77bfb4eda47bbaf129bdef0361=1519728837; " + temp_header,
'Host': "bbs.mumayi.com",
'Origin': "http://bbs.mumayi.com",
'Pragma': "no-cache",
'Referer': "http://bbs.mumayi.com/",
'Upgrade-Insecure-Requests': "1",
'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36",
}
return headers
# 我们post的数据,实际上也是要用dict形式写在这里
post_data = {
"username": "service@52exe.cn",
"password": "123456a",
"quickforward": "yes",
"handlekey": "ls",
}
import urllib.request
import urllib.parse
# encode -》 把我们能看懂的东西变成看不懂的东西(编码)
# decode -》 把我们看不懂的东西变成能看懂的东西(解码)
# 相对于get,get他的参数,是放在url,但是post,我们需要单独传递数据,对这个数据进行编码。
encode_data = urllib.parse.urlencode(post_data).encode("utf-8")
request_attr = urllib.request.Request(url=url, data=encode_data, headers=getHeaders())
response_attr = urllib.request.urlopen(request_attr)
print("*"*30)
import re
temp_header = ";".join(re.findall("Set-Cookie:(.*?);",str(response_attr.headers)))
print("*"*30)
# 以下获得到的内容就是我们没有登陆的内容了
set_url = "http://bbs.mumayi.com/home.php?mod=spacecp"
request_attr = urllib.request.Request(url=set_url, headers=getHeaders(temp_header))
response_attr = urllib.request.urlopen(request_attr)
print(response_attr.read().decode("gbk"))
# post请求一般情况下会应用在登陆
# 我们如果登陆成功了,我们访问该网站的其他页面,还不是登陆状态,所以,我们要处理好cookie,才可以确保我们使用登陆状态进行数据的访问。
python爬虫urllib文档_11.【文本】Urllib(下) - 零基础学习Python爬虫系列相关推荐
- python 编程该看那些书籍_python编程入门书籍-零基础学习Python编程,这8本书必看!...
作为一名程序员,你肯定知道Python语言,从2017年开始Python的热度就一路飙升,已经成为大量开发者推荐入门的编程语言和第二编程语言,而且Python还是人工智能的主要编程语言,受到大众的追捧 ...
- 初学者先学python语音好吗_献给Python初学者 零基础学习Python能学会吗
献给Python初学者 零基础学习Python能学会吗 时间:2018-01-08 来源:零基础学习Python方法讲解 零基础学习Python能学会吗?这个问题几乎是所有初学Python的小 ...
- python入门指南推文_GitHub - Hiufan/codeparkshare: Python初学者(零基础学习Python、Python入门)书籍、视频、资料、社区推荐...
PythonShare Python初学者(零基础学习Python.Python入门)书籍.视频.资料.社区推荐 本文 主要 针对 零基础 想学习Python者.本文本文由@史江歌(shijiangg ...
- python教学视频k_GitHub - y000k/codeparkshare: Python初学者(零基础学习Python、Python入门)书籍、视频、资料、社区推荐...
PythonShare Python初学者(零基础学习Python.Python入门)书籍.视频.资料.社区推荐 本文 主要 针对 零基础 想学习Python者.本文本文由@史江歌(shijiangg ...
- python入门教材论坛_Python初学者(零基础学习Python、Python入门)书籍、视频、资料、社区推荐...
PythonShare ============= *Python初学者(零基础学习Python.Python入门)书籍.视频.资料.社区推荐* ------------------------ 本文 ...
- python入门教材论坛_GitHub - aisuhua/codeparkshare: Python初学者(零基础学习Python、Python入门)书籍、视频、资料、社区推荐...
PythonShare Python初学者(零基础学习Python.Python入门)书籍.视频.资料.社区推荐 本文 主要 针对 零基础 想学习Python者.本文本文由@史江歌(shijiangg ...
- python零基础自学英语软件下载_GitHub - geniux-TI/codeparkshare: Python初学者(零基础学习Python、Python入门)书籍、视频、资料、社区推荐...
PythonShare Python初学者(零基础学习Python.Python入门)书籍.视频.资料.社区推荐 本文 主要 针对 零基础 想学习Python者.本文本文由@史江歌(shijiangg ...
- python教程1009python教程_GitHub - gyl1009/codeparkshare: Python初学者(零基础学习Python、Python入门)书籍、视频、资料、社区推荐...
PythonShare Python初学者(零基础学习Python.Python入门)书籍.视频.资料.社区推荐 本文 主要 针对 零基础 想学习Python者.本文本文由@史江歌(shijiangg ...
- 廖python入门视频_GitHub - aisuhua/codeparkshare: Python初学者(零基础学习Python、Python入门)书籍、视频、资料、社区推荐...
PythonShare Python初学者(零基础学习Python.Python入门)书籍.视频.资料.社区推荐 本文 主要 针对 零基础 想学习Python者.本文本文由@史江歌(shijiangg ...
最新文章
- boost::intrusive::value_traits用法的测试程序
- boost::core模块实现bit ceil测试
- c语言程序设计章节作业网上,C语言程序设计第17章在线测试
- php下载 微信头像图片_php 下载微信头像
- WebFlux系列(十)WebClient 异常处理
- vs无法启动程序 系统找不到指定文件_进不了系统时要做的事情
- 学计算机的会excel,超级容易学电脑--Excel电子表格
- http://me.rice.edu/~akin/
- 几种在Linux下查询外网IP的办法(转)
- 蓝天模具风扇调速软件_联力UNI FAN SL120风扇体验:模组化拼装的风扇
- openbci脑电帽3d打印文件下载
- UAC白名单解决每次启动都弹出UAC对话框(不用关闭UAC)
- 首份2020信创报告出炉,四大巨头市场格局立现(附全文下载)
- threejs 效果合成器(EffectComposer)
- day21、3 - 防火墙HA
- matlab平稳性检验
- python2/3 opencv的fitline函数
- 验证身份证是否真实有效
- 苹果外接屏幕鼠标移动方向问题
- CS入门学习笔记3-廖雪峰python教程-函数