按照网上的模板自己写了类似的代码爬取微博,可是response回来的html是登录界面的html,应该是没有成功登陆微博,但是和网上的代码是基本一样的

from bs4 import BeautifulSoup

import pandas as pd

import requests

url = "https://weibo.cn/2610622321/info"

cook = {"Cookies":"SUB=_2A25xtQZjDeRhGeVM6VQV8CvIyjuIHXVTWaorrDV6PUJbkdAKLW-ikW1NTRxe3ZqwS1KogOneF6bXUXz7lkhb7SGJ; SUHB=0QSpzHMgP-YPEV; SCF=AisDqT2yt7Pkh8gy_7C80NumATyJngEuCniBti09uOwx-8_0IHEkgoGo9HSTyrsBm2J-UMjtDw_DbAEbO-jH2xA.; _T_WM=2901aedc3b6c36f819fe83923328067d"}

html = requests.get(url,cookies = cook).content

soup = BeautifulSoup(html,'lxml')

print(soup)

可结果获取的html是这样的

登录 - 新浪微博

关闭

换一张

动态码

手机号不能为空

登录

第三方帐号

注册帐号忘记密码

帐号或密码错误,你也可以选择短信验证码方式登录微博。

取消

验证码登录

关闭

使用的身份登录网页版微博

检测到您已在微博客户端登录
是否获取该登录状态?

确认

使用其他帐号登录

var fEntry = '';

var fWentry = '';

var fBackUrl = '';

fEntry = 'mweibo';

fBackUrl = 'https%3A%2F%2Fweibo.cn';

var fClientid = '';

var fCode = '';

var fQq = '';

//记住用户名的时候需要把mode设置为1

//这里是需要微盾

请过来人解答。是需要模拟登陆吗?可是我看网上的教程都不需要模拟登陆啊

html微博不能登录,爬取微博信息,使用了cookie仍然无法登录微博相关推荐

  1. python3爬虫模拟登录爬取教务系统成绩单(获取cookie操作)

    前言 今天来写写爬取教务系统的爬虫,此次的爬虫目的是爬取教务系统里面的成绩单,涉及到的库依旧是selenium,re,beautifulsoup,Options,今天多了个csv库用来处理爬取的数据, ...

  2. 爬一个人的所有微博 python_Python爬虫--爬取微博指定用户主页下的所有图片

    Python爬虫--爬取微博指定用户主页下的所有图片 写在前面 最近比较无聊,冒出来一个想法,去各大图片网站爬取大妹子的图片,然后自己写个简单的网站,按网站分类显示图片,第一个想到的是爬取知乎问题下面 ...

  3. python3爬虫系列24之重庆微博地铁客运量爬取且可视化输出

    python3爬虫系列24之重庆微博地铁客运量爬取和可视化 1.前言 在python3爬虫系列23之selenium+腾讯OCR识别验证码登录微博且抓取数据里面,我们既是又搞selenium自动化,又 ...

  4. python分析微博粉丝_GitHub - rainpenber/python_weiboSpider: 微博粉丝数据爬取分析僵尸粉...

    python_weiboSpider 本项目关于微博数据爬取/文本分析/词云展示 文本分析主要用到了LDA主题模型 代码运行说明 1.weibopr.py是用来分析大V博主影响力的,同时会爬取博主微博 ...

  5. JAVA使用HttpClient模拟登录正方教务系统,爬取学籍信息和课程表成绩等,超详细登录分析和代码注解

    目录 前言 分析 代码实现 第一次GET POST登录 第二次Get 第三次GET 第四次GET 第五次GET 测试 完整代码 前言 最近在做一个APP,需要获取我们学校--武汉纺织大学皇家停水断电断 ...

  6. [python] 常用正则表达式爬取网页信息及分析HTML标签总结

    这篇文章主要是介绍Python爬取网页信息时,经常使用的正则表达式及方法.它是一篇总结性文章,实用性比较大,主要解决自己遇到的爬虫问题,也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬 ...

  7. 第26讲:模拟登录爬取实战案例

    在上一课时我们了解了网站登录验证和模拟登录的基本原理.网站登录验证主要有两种实现,一种是基于 Session + Cookies 的登录验证,另一种是基于 JWT 的登录验证,那么本课时我们就通过两个 ...

  8. 爬虫项目三:爬取选课信息

    爬虫项目三:爬取whut-jwc选课信息 项目实现:主要获得通识选修.个性选课.英语体育选课的课程信息 核心: 1.实现网页登陆 2.爬取课程信息 一.网页信息登陆 from selenium imp ...

  9. Selenium+PhantomJS自动化登录爬取博客文章

    selenium采集页面元素 phantomjs主要是模拟登录 也没多少说的,上代码吧 from selenium import webdriver import selenium.webdriver ...

  10. python爬虫影评_Python爬虫(二十)_动态爬取影评信息

    本案例介绍从JavaScript中采集加载的数据.更多内容请参考:Python学习指南 #-*- coding:utf-8 -*- import requests import re import t ...

最新文章

  1. 亮剑:PHP,我的未来不是梦(4)
  2. 关于文件格式和编码方式,乱码产生的原因?
  3. 4.编程打印一个二维数组中所有元素的和,并打印最大值,最小值(以及它们所在的行号和列号)
  4. 借助datetime和pyttsx3在Python中创建闹钟
  5. 图文并茂: 二进制与十进制间的转换方法
  6. bootstrap table无法服务器分页_layui分页的大坑,RequestPayload和FormData
  7. 【Acm】算法之美—Fire Net
  8. 提交注册信息到数据库中
  9. 我的Java开发学习之旅------gt;在Dos环境下Java内部类的编译和运行
  10. 12满秩分解与奇异值分解(2)
  11. python趋势跟踪_一个趋势跟踪系统—Dual Thrust策略(期货)
  12. mongoDB操作-持续更新中...
  13. jira后台统计数据的一些sql(包含reopen计算,时效)
  14. css3动画让风车转起来
  15. 建造者模式(Builder)---创建型
  16. 设置手机静音和固定电话来电时手机震动
  17. 佳能数码相机,不能安装驱动程序
  18. 从最新的技术趋势看前端的未来
  19. 网络安全笔记-TCP/IP
  20. 相对定位的元素会在原先的地方

热门文章

  1. ucrt-通用CRT部署
  2. python中的if和if_else以及if_elif_else
  3. c语言第五章习题答案汪升华,《服装美学》练习题总汇部分参考答案
  4. 数据归一化和代码实现
  5. 5G基站基带架构设计之总体篇
  6. 树莓派python学习篇 (二)红外避障传感器
  7. 华为认证的哪个方向最好?
  8. 【传智播客】Javaweb程序设计任务教程 黑马程序员 第7,8,9,10,11,12,13,14,15章 课后答案
  9. 电压电流采集模块,温湿度采集,称重模块,变送器,adc模数转换模块
  10. 机械工程师计算机证书考试科目,查看:机械工程师证认证报名消息及考试内容...