如何用 Python 爬取需要登录的网站
【原文地址:】http://python.jobbole.com/83588/
import requests from lxml import html# 创建 session 对象。这个对象会保存所有的登录会话请求。 session_requests = requests.session()# 提取在登录时所使用的 csrf 标记 login_url = "https://bitbucket.org/account/signin/?next=/" result = session_requests.get(login_url)tree = html.fromstring(result.text) authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]payload = {"username": "<你的用户名>", "password": "<你的密码>", "csrfmiddlewaretoken": authenticity_token # 在源代码中,有一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。 }# 执行登录 result = session_requests.post(login_url, data = payload, headers = dict(referer=login_url) )# 已经登录成功了,然后从 bitbucket dashboard 页面上爬取内容。 url = 'https://bitbucket.org/dashboard/overview' result = session_requests.get(url, headers = dict(referer = url) )# 测试爬取的内容 tree = html.fromstring(result.content) bucket_elems = tree.findall(".//span[@class='repo-name']/") bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]print(bucket_names)
如何用 Python 爬取需要登录的网站相关推荐
- JAVA爬需要账号登录的网_如何用 Python 爬取需要登录的网站?
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作.它没有我想象中那么简单,因此我决定为它写一个辅助教程. 在本教程中,我们将从我们的bitbucket账户中爬取一个项目列表. 教程中的代码可 ...
- 如何用 Python 爬取需要登录的网站?
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作.它没有我想象中那么简单,因此我决定为它写一个辅助教程. 在本教程中,我们将从我们的bitbucket账户中爬取一个项目列表. 教程中的代码可 ...
- 用Python爬取需要登录的网站
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作.它没有我想象中那么简单,因此我决定为它写一个辅助教程. 在本教程中,我们将从我们的bitbucket账户中爬取一个项目列表. 教程中的代码可 ...
- 如何用python爬取网页数据,python爬取网页详细教程
大家好,本文将围绕python怎么爬取网站所有网页展开说明,如何用python爬取网页数据是一个很多人都想弄明白的事情,想搞清楚python如何爬取网页数据需要先了解以下几个事情. 1.如何用Pyth ...
- python实现登录抓取_Python实现爬取需要登录的网站完整示例
本文实例讲述了Python爬取需要登录的网站实现方法.分享给大家供大家参考,具体如下: import requests from lxml import html # 创建 session 对象.这个 ...
- python爬取微信好友_如何用 Python 爬取自己的微信朋友
原标题:如何用 Python 爬取自己的微信朋友 作者 Alfred 本文转载自网络,如涉及侵权请及时联系我们 微信作为一款拥有将近9亿用户的超级APP,已经成为很多人生活中不可或缺的一部分,聊天.分 ...
- 如何用 Python 爬取网页制作电子书
本文来自作者 孙亖 在 GitChat 上分享 「如何用 Python 爬取网页制作电子书」,「阅读原文」查看交流实录. 「文末高能」 编辑 | 哈比 0 前言 有人爬取数据分析黄金周旅游景点,有人爬 ...
- 从入门到入土:基于Python爬取四川大学所有官方网站|狗头保命|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
- python爬取网页公开数据_如何用Python爬取网页数据
使用Python爬取网页数据的方法: 一.利用webbrowser.open()打开一个网站:>>> import webbrowser >>> webbrowse ...
- 如何用python爬取新浪财经
通过python爬取新浪财经的股票历史成交明细 要求 通过新浪财经爬取历史数据:http://market.finance.sina.com.cn/transHis.php?symbol=sz0000 ...
最新文章
- Django web框架-----Django连接现有mysql数据库
- 【转载】sourceforge上面提供的多种后缀的压缩包有何区别?
- 使用js冒泡实现点击空白处关闭弹窗
- redis批量删除key
- ssm的报错问题------You must configure either the server or JDBC driver (via the serverTimezone conf)
- junit 测试似有方法_Spring整合Junit的使用
- Ubuntu安装docker-ELK
- Non-zero CodeForces - 1300A
- 微信小程序点击跳转出现背景
- 数学概念——J - 数论,质因数分解
- Python 中的 None 与真假
- ajax简易写法,AJAX的简洁写法
- unity检测范围内敌人_Unity判断周围是否有敌人
- 网线交叉网线线序接法
- Java高级之HashMap中的put()方法和putIfAbsent()方法
- Android 记录自己的错误(Fatal signal 6 (SIGABRT), code -6 in tid 16701 (RenderThread))
- Go语言从控制台读取数据
- cmd命令操作Windows注册表
- MySQL主键(primary key)的作用
- 你想三年后过上什么样的生活?
热门文章
- VueCli4学习笔记
- 04.electron-(使用remove模块及安全策略)
- c# XML 有多个重复子节点操作
- PHP生成阿里云oss水印里的文字
- Layer动态设置每一行的背景色
- php和html怎么链接,PHP(6)只记录我的学习历程 html(链接和框架标志)
- java程序拦截dde漏洞问题_Office DDE漏洞学习笔记
- 编程基本功:如何拆分一个大函数
- 一旦辞职,应该立即批准。留一段时间没有好处
- 问题原因及解决办法:realloc(): invalid next size