Python爬虫 requests使用post请求分析并登录Chinaunix

import requests
from lxml import etree# 使用代理
proxy = {'http': '219.149.59.250:9797'
}
# 创建一个会话
s = requests.Session()
# 定制头信息
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
}
url = 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&logsubmit=yes'
# 发送get请求
r = s.get(url=url, headers=headers, proxies=proxy)
# 查找formhash值的xpath
formhash_xpath = '//div[@class="form"]//input[@name="formhash"]/@value'
# 创建xpath tree对象
html_tree = etree.HTML(r.text)
# 查找得到formhash值
formhash = html_tree.xpath(formhash_xpath)# print(formhash)
# 发送post请求进行登录post_url = 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=LFpXy'
# 抓包分析得到的参数
data = {'formhash': formhash,'referer': 'http://bbs.chinaunix.net/','username': '17312345678', # 账号'password': '123456', # 密码'loginsubmit': 'true','return_type': ''
}
headers_post = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','Accept-Language': 'zh-CN,zh;q=0.9','Connection': 'keep-alive','Content-Type': 'application/x-www-form-urlencoded','Host': 'bbs.chinaunix.net','Origin': 'http://bbs.chinaunix.net','Referer': 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&logsubmit=yes','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
}r = s.post(url=post_url, data=data, headers=headers_post, proxies=proxy)
r.encoding = 'gbk'
with open('chinaunix.html', 'w') as fp:fp.write(r.text)

注意：代码是否执行成功具有时效性

Python爬虫 requests使用post请求分析并登录Chinaunix相关推荐

Python爬虫 requests使用post请求发送文件
# 001.jpg是已经存在的文件 path = (os.path.join(os.path.dirname(os.path.abspath(__file__)),'001.jpg')) files ...
Python爬虫开发：post请求（用户登录）
已解决（Python爬虫requests库报错请求异常SSL错误，证书认证失败问题）requests.exceptions.SSLError: HTTPSConnectionPool
成功解决(Python爬虫requests库报错请求异常,SSL错误,证书认证失败问题)requests.exceptions.SSLError: HTTPSConnectionPool(host= ...
Python爬虫+数据分析+数据可视化（分析《雪中悍刀行》弹幕）
Python爬虫+数据分析+数据可视化(分析<雪中悍刀行>弹幕) 哔哔一下爬虫部分代码部分效果展示数据可视化代码展示效果展示视频讲解福利环节哔哔一下雪中悍刀行兄弟们都看 ...
【python】python爬虫requests库详解
1.安装:pip install requests 简介:Requests是一个优雅而简单的Python HTTP库,与之前的urllibPython的标准库相比,Requests的使用方式非常的简单 ...
python爬虫 requests+bs4爬取猫眼电影傻瓜版教程
python爬虫 requests+bs4爬取猫眼电影傻瓜版教程前言一丶整体思路二丶遇到的问题三丶分析URL 四丶解析页面五丶写入文件六丶完整代码七丶最后前言大家好我是墨绿头顶总 ...
Python爬虫---requests模块的基本使用
Python爬虫-requests模块的基本使用基础什么是爬虫? 就是通过编写程序模拟浏览器上网,然后让其去互联网上爬取数据的过程. 爬虫的分类通用爬虫抓取互联网中的一整张页面数据聚焦爬虫 ...
python爬虫—Requests
python爬虫-Requests 目录 python爬虫-Requests 一.Requests简介 1.requests简介 2.安装方式二.GET请求 1.通用爬虫(全页面进行保存) text ...
Python爬虫——Requests 库基本使用
文章目录 Python爬虫--Requests 库基本使用 1.Requests简介和下载 2.Requests 库基本使用 Python爬虫--Requests 库基本使用 1.Requests简介 ...
day19 学习python爬虫——requests和bs4
day19 学习python爬虫--requests和bs4 一.requests使用详解 import requests 1.发送请求 requests.get(请求地址) - 直接获取请求地址对应 ...

Python爬虫 requests使用post请求分析并登录Chinaunix

Python爬虫 requests使用post请求分析并登录Chinaunix相关推荐

最新文章

热门文章