Python爬虫-爬取开心网主页(有登录界面-利用cookie)
爬取开心网主页内容
==========================================
=======================================
===================================
1 ''' 2 登录开心网 3 利用cookie 4 免除ssl 5 ''' 6 from urllib import request, parse 7 import ssl 8 '''sd 9 步骤: 10 1, 寻找登录入口, 通过搜查相应文字可以快速定位 11 login_url = "https://security.kaixin001.com/login/login_post.php" 12 相应的用户名和密码对应名称为email, password 13 2. 构造opener 14 3. 构造login函数 15 ''' 16 17 import ssl 18 # 忽略安全问题 19 ssl._create_default_https_context = ssl._create_unverified_context 20 21 from http import cookiejar 22 23 cookie = cookiejar.CookieJar() 24 cookie_handler = request.HTTPCookieProcessor(cookie) 25 http_handler = request.HTTPHandler() 26 https_handler = request.HTTPSHandler() 27 28 opener = request.build_opener(http_handler, https_handler, cookie_handler) 29 30 31 32 def login(): 33 34 login_url = "https://security.kaixin001.com/login/login_post.php" 35 36 data = { 37 "email":"13119144223", 38 "password": "123456" 39 } 40 41 42 # 对post的data内容进行编码 43 data = parse.urlencode(data) 44 45 # http协议的请求头 46 headers = { 47 "Content-Length": len(data), 48 "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36" 49 } 50 51 # 构造请求Request对象 52 # data要求是一个bytes对象,所以需要进行编码 53 req = request.Request(login_url, data=data.encode(), headers=headers) 54 55 rsp = opener.open(req) 56 57 html = rsp.read() 58 html = html.decode() 59 60 def getHomePage(): 61 base_url = "http://www.kaixin001.com/home/?_profileuid=181697221" 62 63 rsp = opener.open(base_url) 64 html = rsp.read() 65 html = html.decode() 66 67 print(html) 68 69 if __name__ == '__main__': 70 login() 71 getHomePage()
转载于:https://www.cnblogs.com/xuxaut-558/p/10086348.html
Python爬虫-爬取开心网主页(有登录界面-利用cookie)相关推荐
- 四小时学python爬虫爬取信息系列(第一天)
四小时学python爬虫爬取信息系列(第一天)(全是干货) 1.安装requests库(可以在电脑python,我是进入anaconda我建的虚拟环境) anaconda虚拟环境法流程: conda ...
- python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
- Python爬虫爬取微信朋友圈的方法,感兴趣的朋友可以了解下
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 小雨 | 作者 python教程 | 来源 接下来,我们将实现微信朋友圈的 ...
- 【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2)...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
- Python爬虫爬取微信朋友圈
更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接: 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ ...
- php抓取微博评论,python爬虫爬取微博评论案例详解
前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员. 在我们的项目中,我负责的是数据爬取这块,我主要是把对于杨超越 的每一条评论的相关信息. 数据格式:{"name" ...
- 使用python爬虫爬取蓝调口琴网乐谱
学习目标:使用python爬虫爬取蓝调口琴网乐谱 提示:这里可以添加学习目标 例如:一周掌握 Java 入门知识 学习内容: 使用爬虫爬取需要动态验证码(如手机短信验证码)登录的网站. 提示:这里可以 ...
- python爬虫爬取必应每日高清壁纸
python爬虫爬取必应每日高清壁纸 一.简介 二.使用的环境 三.网页分析 1.分析网页每一页url形式以及总页数 2.网页重要信息收集 3.在源码中寻找所需信息的位置 四.代码实现 五.运行爬虫 ...
- 如何用六步教会你使用python爬虫爬取数据
前言: 用python的爬虫爬取数据真的很简单,只要掌握这六步就好,也不复杂.以前还以为爬虫很难,结果一上手,从初学到把东西爬下来,一个小时都不到就解决了. python爬出六部曲 第一步:安装req ...
- 在当当买了python怎么下载源代码-python爬虫爬取当当网
[实例简介]python爬虫爬取当当网 [实例截图] [核心代码] ''' Function: 当当网图书爬虫 Author: Charles 微信公众号: Charles的皮卡丘 ''' impor ...
最新文章
- R语言ggplot2可视化绘制线图(line plot)、使用gghighlight包突出高亮满足条件的线图、并保留其它线图的色彩(而不是灰色)自定义非高亮线图的透明度
- php中怎样表示组合框,PHP-从带有组合框的表中获取数据(Codeigniter...
- 用Go语言建立一个简单的区块链part2:Pow共识
- SpringBoot之Servlet、Filter、Listener配置
- Allegro 光绘文件快速导入
- 创建 tls 客户端 凭据时发生严重错误。内部错误状态为 10013_kubectl 创建 Pod 背后到底发生了什么?...
- 计算机文化基础分析总结,《计算机文化基础实训》教学方案设计与课题分析总结.doc...
- linux下如何安装自带编译器的codeblocks,codeblocks安装(自带gcc编译器)
- Spark采用分区方式读取数据库时partitionColumn, lowerBound, upperBound, numPartitions的理解与验证
- NetCore WebService XML Parse
- z平面与s平面计算机控制稳定性,2 计算机控制系统分析
- 龙将加速浏览器_360安全浏览器正式进军政企市场 积极适配中国芯
- 小米4C未解锁刷机教程
- 微信小程序UI组件库推荐
- 打开计算机无法显示工具栏,任务栏不显示打开的窗口怎么办教程
- 基于MapGIS的GIS二次开发作业文档
- 独家解读 | 2018 恶意机器流量报告
- 什么叫Jour-fix
- PHP在线咨询留言系统
- Linux 系统调用的本质