爬取开心网主页内容

==========================================

=======================================

===================================

 1 '''
 2 登录开心网
 3 利用cookie
 4 免除ssl
 5 '''
 6 from urllib import request, parse
 7 import ssl
 8 '''sd
 9 步骤:
10 1, 寻找登录入口, 通过搜查相应文字可以快速定位
11   login_url = "https://security.kaixin001.com/login/login_post.php"
12   相应的用户名和密码对应名称为email, password
13 2. 构造opener
14 3. 构造login函数
15 '''
16
17 import ssl
18 # 忽略安全问题
19 ssl._create_default_https_context = ssl._create_unverified_context
20
21 from http import cookiejar
22
23 cookie = cookiejar.CookieJar()
24 cookie_handler = request.HTTPCookieProcessor(cookie)
25 http_handler = request.HTTPHandler()
26 https_handler = request.HTTPSHandler()
27
28 opener = request.build_opener(http_handler, https_handler, cookie_handler)
29
30
31
32 def login():
33
34     login_url = "https://security.kaixin001.com/login/login_post.php"
35
36     data = {
37         "email":"13119144223",
38         "password": "123456"
39     }
40
41
42     # 对post的data内容进行编码
43     data = parse.urlencode(data)
44
45     # http协议的请求头
46     headers = {
47         "Content-Length": len(data),
48         "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36"
49     }
50
51     # 构造请求Request对象
52     # data要求是一个bytes对象,所以需要进行编码
53     req = request.Request(login_url, data=data.encode(), headers=headers)
54
55     rsp = opener.open(req)
56
57     html = rsp.read()
58     html = html.decode()
59
60 def getHomePage():
61     base_url = "http://www.kaixin001.com/home/?_profileuid=181697221"
62
63     rsp = opener.open(base_url)
64     html = rsp.read()
65     html = html.decode()
66
67     print(html)
68
69 if __name__ == '__main__':
70     login()
71     getHomePage()

转载于:https://www.cnblogs.com/xuxaut-558/p/10086348.html

Python爬虫-爬取开心网主页(有登录界面-利用cookie)相关推荐

  1. 四小时学python爬虫爬取信息系列(第一天)

    四小时学python爬虫爬取信息系列(第一天)(全是干货) 1.安装requests库(可以在电脑python,我是进入anaconda我建的虚拟环境) anaconda虚拟环境法流程: conda ...

  2. python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么

    在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...

  3. Python爬虫爬取微信朋友圈的方法,感兴趣的朋友可以了解下

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 小雨 | 作者 python教程 | 来源 接下来,我们将实现微信朋友圈的 ...

  4. 【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2)...

    [爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...

  5. Python爬虫爬取微信朋友圈

    更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接: 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ ...

  6. php抓取微博评论,python爬虫爬取微博评论案例详解

    前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员. 在我们的项目中,我负责的是数据爬取这块,我主要是把对于杨超越 的每一条评论的相关信息. 数据格式:{"name" ...

  7. 使用python爬虫爬取蓝调口琴网乐谱

    学习目标:使用python爬虫爬取蓝调口琴网乐谱 提示:这里可以添加学习目标 例如:一周掌握 Java 入门知识 学习内容: 使用爬虫爬取需要动态验证码(如手机短信验证码)登录的网站. 提示:这里可以 ...

  8. python爬虫爬取必应每日高清壁纸

    python爬虫爬取必应每日高清壁纸 一.简介 二.使用的环境 三.网页分析 1.分析网页每一页url形式以及总页数 2.网页重要信息收集 3.在源码中寻找所需信息的位置 四.代码实现 五.运行爬虫 ...

  9. 如何用六步教会你使用python爬虫爬取数据

    前言: 用python的爬虫爬取数据真的很简单,只要掌握这六步就好,也不复杂.以前还以为爬虫很难,结果一上手,从初学到把东西爬下来,一个小时都不到就解决了. python爬出六部曲 第一步:安装req ...

  10. 在当当买了python怎么下载源代码-python爬虫爬取当当网

    [实例简介]python爬虫爬取当当网 [实例截图] [核心代码] ''' Function: 当当网图书爬虫 Author: Charles 微信公众号: Charles的皮卡丘 ''' impor ...

最新文章

  1. R语言ggplot2可视化绘制线图(line plot)、使用gghighlight包突出高亮满足条件的线图、并保留其它线图的色彩(而不是灰色)自定义非高亮线图的透明度
  2. php中怎样表示组合框,PHP-从带有组合框的表中获取数据(Codeigniter...
  3. 用Go语言建立一个简单的区块链part2:Pow共识
  4. SpringBoot之Servlet、Filter、Listener配置
  5. Allegro 光绘文件快速导入
  6. 创建 tls 客户端 凭据时发生严重错误。内部错误状态为 10013_kubectl 创建 Pod 背后到底发生了什么?...
  7. 计算机文化基础分析总结,《计算机文化基础实训》教学方案设计与课题分析总结.doc...
  8. linux下如何安装自带编译器的codeblocks,codeblocks安装(自带gcc编译器)
  9. Spark采用分区方式读取数据库时partitionColumn, lowerBound, upperBound, numPartitions的理解与验证
  10. NetCore WebService XML Parse
  11. z平面与s平面计算机控制稳定性,2 计算机控制系统分析
  12. 龙将加速浏览器_360安全浏览器正式进军政企市场 积极适配中国芯
  13. 小米4C未解锁刷机教程
  14. 微信小程序UI组件库推荐
  15. 打开计算机无法显示工具栏,任务栏不显示打开的窗口怎么办教程
  16. 基于MapGIS的GIS二次开发作业文档
  17. 独家解读 | 2018 恶意机器流量报告
  18. 什么叫Jour-fix
  19. PHP在线咨询留言系统
  20. Linux 系统调用的本质

热门文章

  1. springboot hikari数据库连接池死链 出现异常
  2. Influx Sql系列教程三:measurement 表
  3. 如何简单理解ngnix的反向代理
  4. MybatisPlus IPage<V>转IPage<B> 封装工具类
  5. AI智能名片系统源码
  6. 洛谷 P2440 木材加工
  7. 视频:使用FFMpeg实现视频录制与压缩
  8. chosen插件使用
  9. redhat红帽官方软件仓库同步方案
  10. Diamond安装步骤