html微博不能登录,爬取微博信息,使用了cookie仍然无法登录微博
按照网上的模板自己写了类似的代码爬取微博,可是response回来的html是登录界面的html,应该是没有成功登陆微博,但是和网上的代码是基本一样的
from bs4 import BeautifulSoup
import pandas as pd
import requests
url = "https://weibo.cn/2610622321/info"
cook = {"Cookies":"SUB=_2A25xtQZjDeRhGeVM6VQV8CvIyjuIHXVTWaorrDV6PUJbkdAKLW-ikW1NTRxe3ZqwS1KogOneF6bXUXz7lkhb7SGJ; SUHB=0QSpzHMgP-YPEV; SCF=AisDqT2yt7Pkh8gy_7C80NumATyJngEuCniBti09uOwx-8_0IHEkgoGo9HSTyrsBm2J-UMjtDw_DbAEbO-jH2xA.; _T_WM=2901aedc3b6c36f819fe83923328067d"}
html = requests.get(url,cookies = cook).content
soup = BeautifulSoup(html,'lxml')
print(soup)
可结果获取的html是这样的
登录 - 新浪微博
关闭
换一张
动态码
登录
第三方帐号
注册帐号忘记密码
帐号或密码错误,你也可以选择短信验证码方式登录微博。
取消
验证码登录
关闭
使用的身份登录网页版微博
检测到您已在微博客户端登录
是否获取该登录状态?
确认
使用其他帐号登录
var fEntry = '';
var fWentry = '';
var fBackUrl = '';
fEntry = 'mweibo';
fBackUrl = 'https%3A%2F%2Fweibo.cn';
var fClientid = '';
var fCode = '';
var fQq = '';
//记住用户名的时候需要把mode设置为1
//这里是需要微盾
请过来人解答。是需要模拟登陆吗?可是我看网上的教程都不需要模拟登陆啊
html微博不能登录,爬取微博信息,使用了cookie仍然无法登录微博相关推荐
- python3爬虫模拟登录爬取教务系统成绩单(获取cookie操作)
前言 今天来写写爬取教务系统的爬虫,此次的爬虫目的是爬取教务系统里面的成绩单,涉及到的库依旧是selenium,re,beautifulsoup,Options,今天多了个csv库用来处理爬取的数据, ...
- 爬一个人的所有微博 python_Python爬虫--爬取微博指定用户主页下的所有图片
Python爬虫--爬取微博指定用户主页下的所有图片 写在前面 最近比较无聊,冒出来一个想法,去各大图片网站爬取大妹子的图片,然后自己写个简单的网站,按网站分类显示图片,第一个想到的是爬取知乎问题下面 ...
- python3爬虫系列24之重庆微博地铁客运量爬取且可视化输出
python3爬虫系列24之重庆微博地铁客运量爬取和可视化 1.前言 在python3爬虫系列23之selenium+腾讯OCR识别验证码登录微博且抓取数据里面,我们既是又搞selenium自动化,又 ...
- python分析微博粉丝_GitHub - rainpenber/python_weiboSpider: 微博粉丝数据爬取分析僵尸粉...
python_weiboSpider 本项目关于微博数据爬取/文本分析/词云展示 文本分析主要用到了LDA主题模型 代码运行说明 1.weibopr.py是用来分析大V博主影响力的,同时会爬取博主微博 ...
- JAVA使用HttpClient模拟登录正方教务系统,爬取学籍信息和课程表成绩等,超详细登录分析和代码注解
目录 前言 分析 代码实现 第一次GET POST登录 第二次Get 第三次GET 第四次GET 第五次GET 测试 完整代码 前言 最近在做一个APP,需要获取我们学校--武汉纺织大学皇家停水断电断 ...
- [python] 常用正则表达式爬取网页信息及分析HTML标签总结
这篇文章主要是介绍Python爬取网页信息时,经常使用的正则表达式及方法.它是一篇总结性文章,实用性比较大,主要解决自己遇到的爬虫问题,也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬 ...
- 第26讲:模拟登录爬取实战案例
在上一课时我们了解了网站登录验证和模拟登录的基本原理.网站登录验证主要有两种实现,一种是基于 Session + Cookies 的登录验证,另一种是基于 JWT 的登录验证,那么本课时我们就通过两个 ...
- 爬虫项目三:爬取选课信息
爬虫项目三:爬取whut-jwc选课信息 项目实现:主要获得通识选修.个性选课.英语体育选课的课程信息 核心: 1.实现网页登陆 2.爬取课程信息 一.网页信息登陆 from selenium imp ...
- Selenium+PhantomJS自动化登录爬取博客文章
selenium采集页面元素 phantomjs主要是模拟登录 也没多少说的,上代码吧 from selenium import webdriver import selenium.webdriver ...
- python爬虫影评_Python爬虫(二十)_动态爬取影评信息
本案例介绍从JavaScript中采集加载的数据.更多内容请参考:Python学习指南 #-*- coding:utf-8 -*- import requests import re import t ...
最新文章
- 亮剑:PHP,我的未来不是梦(4)
- 关于文件格式和编码方式,乱码产生的原因?
- 4.编程打印一个二维数组中所有元素的和,并打印最大值,最小值(以及它们所在的行号和列号)
- 借助datetime和pyttsx3在Python中创建闹钟
- 图文并茂: 二进制与十进制间的转换方法
- bootstrap table无法服务器分页_layui分页的大坑,RequestPayload和FormData
- 【Acm】算法之美—Fire Net
- 提交注册信息到数据库中
- 我的Java开发学习之旅------gt;在Dos环境下Java内部类的编译和运行
- 12满秩分解与奇异值分解(2)
- python趋势跟踪_一个趋势跟踪系统—Dual Thrust策略(期货)
- mongoDB操作-持续更新中...
- jira后台统计数据的一些sql(包含reopen计算,时效)
- css3动画让风车转起来
- 建造者模式(Builder)---创建型
- 设置手机静音和固定电话来电时手机震动
- 佳能数码相机,不能安装驱动程序
- 从最新的技术趋势看前端的未来
- 网络安全笔记-TCP/IP
- 相对定位的元素会在原先的地方
热门文章
- ucrt-通用CRT部署
- python中的if和if_else以及if_elif_else
- c语言第五章习题答案汪升华,《服装美学》练习题总汇部分参考答案
- 数据归一化和代码实现
- 5G基站基带架构设计之总体篇
- 树莓派python学习篇 (二)红外避障传感器
- 华为认证的哪个方向最好?
- 【传智播客】Javaweb程序设计任务教程 黑马程序员 第7,8,9,10,11,12,13,14,15章 课后答案
- 电压电流采集模块,温湿度采集,称重模块,变送器,adc模数转换模块
- 机械工程师计算机证书考试科目,查看:机械工程师证认证报名消息及考试内容...