python模拟各大网站登陆方式,以及一些爬虫程序

  • 仅供练习使用,代码注释很详细

  • 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是利用scrapy,希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式,和爬虫程序,会持续更新。。。

  • 昨天加了个班,对一些老代码进行了重构和测试,大部分都可以用。

  • 欢迎star

模拟登录一些常见的网站

  • 如果你有什么比较难登陆的网站,比如发现用了selenium+webdriver都还登陆不了的网站,欢迎给我提issue
  1. requests
  2. selenium
  3. rsa
  4. phantomjs

项目地址

Github

关于

模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式,有的网站直接登录难度很大,比如qq空间,B站,如果采用selenium就相对轻松一些。

虽然在登录的时候采用的是selenium,为了效率,我们可以在登录过后得到的cookie维护起来,然后调用requests或者scrapy等进行数据采集,这样数据采集的速度可以得到保证。

已完成

  • Facebook
  • Twitter
  • 微博网页版
  • 知乎
  • QQZone
  • CSDN
  • 淘宝
  • Baidu
  • 果壳
  • JingDong
  • 163mail
  • 拉钩
  • Bilibili
  • 豆瓣
  • Baidu2
  • 猎聘网
  • 微信网页版
  • gihub
  • 图虫

tips of pull request

  • 欢迎大家一起来 pull request

问题

  • 有的验证码需要手动,之后我会尽量改正
  • 代码失效:由于网站策略或者样式改变,导致代码失效,请给我提issue,如果你已经解决,可以提PR,谢谢!

另外

  • 如果你有什么比较难登陆的网站,比如发现用了selenium+webdriver都还登陆不了的网站,欢迎给我提issue
  • 如果该repo对大家有帮助,给个star鼓励鼓励吧

欢迎你们

  1. 项目写了一段时间后,发现代码的风格和程序的易用性,可扩展性,代码的可读性,都存在一定的问题,所以接下来最重要的是重构代码,让大家可以更容易的做出一些自己的小功能。
  2. 如果你觉得某个网站的登录很有代表性,欢迎在 issue 中提出

测试

Bilibili自动登录测试正常,成功率98%

web微信

图虫爬虫

项目地址

Github

具体

  • 请跳转到项目地址查看

最后

  • 大佬们慢点喷,小弟有点承受不住,—_---

各大网站登陆方式, 包括爬虫相关推荐

  1. # python模拟各大网站登陆方式, 包括爬虫--你们要的全都有

    python模拟各大网站登陆方式,以及一些爬虫程序 仅供练习使用,代码注释很详细 走过路过的大佬们,记得给个star支持一下,嘻嘻嘻? 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过s ...

  2. python 模拟各大网站登陆方式,以及一些爬虫程序

    仅供练习使用,代码注释很详细 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过 selenium 登录,有的是通过抓包直接模拟登录,有的是利用 scrapy,希望对小白有所帮助,本项目用 ...

  3. python模拟各大网站登陆方式,以及一些爬虫程序,麻麻再也不用担心我学爬虫啦!...

    python模拟各大网站登陆方式,以及一些爬虫程序 仅供练习使用,代码注释很详细 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是 ...

  4. python模拟各大网站登陆方式,以及一些爬虫程序, 麻麻再也不用担心我学爬虫啦!...

    python模拟各大网站登陆方式,以及一些爬虫程序 仅供练习使用,代码注释很详细 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是 ...

  5. 一键下载各大网站视频,包括b站(you-get)

    推荐一个神器you-get!!! 最近,想下载b站视频,然后电脑上没有缓存按钮,网上查了半天,都是一个一个下载的,然而我想批量,于是乎就有了you-get! 1.首先安装python 2.安装you- ...

  6. python 爬虫 微博 github_GitHub 热门:各大网站的 Python 爬虫登录汇总

    原标题:GitHub 热门:各大网站的 Python 爬虫登录汇总 (给数据分析与开发加星标,提升数据技能) 转自:机器之心,GitHub 作者:CriseLYJ 不论是自然语言处理还是计算机视觉,做 ...

  7. 织梦网站后台-织梦网站后台登陆方式-织梦CMS模板

    织梦网站后台登陆方式:域名/dede即可进入网站后台.织梦cms是一个独立的网站程序.今天给大家推荐的是织梦cms模板(内置5W套织梦cms模板)以及免费织梦cms插件其中包括有:织梦cms采集插件. ...

  8. 2015年十大最具有影响力的免费网站推广方式

    2015年我不知道未来的搜索引擎算法会怎样的更替,但是我知道它们的根本是不变的-为用户服务.做好这点不论是你的关键词排名还是网上销售都会更上一层楼.就现在的网络环境来说,做好网站推广盈利模式势在必行, ...

  9. 爬虫之获取各大网站热搜并实现语音播报

    一.前言 这篇文章是基于对上篇文章爬虫之获取各大网站热搜的进阶优化修改并添加了语音播报的功能,其中的封装如果有更好的建议,希望更多的读者能过提提,下面就要开始我的创作了. 二.针对上篇文章,总体做了以 ...

最新文章

  1. widnows命令行常用命令使用 和 windows创建文件,写内容到文件
  2. 黑马程序员Linux系统开发视频之产生信号的方法
  3. linux 信号量semget,51CTO博客-专业IT技术博客创作平台-技术成就梦想
  4. CM: 如何通过table SKWG_BREL快速查询product attachment信息
  5. [Apple开发者帐户帮助]八、管理档案(2)创建临时配置文件(iOS,tvOS,watchOS)...
  6. pyecharts查看版本_pyecharts v1 版本 学习笔记 折线图,面积图
  7. 内网渗透扫描神器 Perun
  8. Algorithms - Counter计数器 的 详解 与 代码
  9. 破解含语序问题的点击验证码
  10. HTML命名空间的使用
  11. 豫科技版计算机七年级上册,七年级下册信息技术教案第一单元第一课《制作新春灯笼》豫科技版.doc...
  12. Android 面试必备 - 线程
  13. 使用CSS绘制一个平行四边形
  14. GNUPLOT绘图软件学习笔记(1)基本多数据作折线图与cpp调用及一种中文输入办法
  15. VUE项目学习(一):搭建VUE前端项目
  16. C语言期末复习题(带答案)
  17. SQL Sever数据库存储过程
  18. 基于自适应形态学的探月雷达噪声压制方法
  19. 冷迁移oracle数据库,Oracle数据库迁移--冷迁移
  20. C语言中如何把位赋值给字节,优秀程序员必须知道的20个位运算技巧

热门文章

  1. 对话FreeRTOS创始人
  2. 增长88%! 2019福布斯全球区块链50强榜单, 你未必看懂这3个细节
  3. SNOWFLAKE(雪花ID)的实现
  4. Web Spider XHR断点 堆栈跟值 逆向案例(四)
  5. 计算机考研|跨考计算机的同学不妨看看这篇文章
  6. ToDesk远程控制
  7. 电脑上取得 SD 卡 ID
  8. 服务器系统开启休眠,服务器主机可以休眠吗
  9. Origin科研绘图数据分析技巧(8),Origin软件电脑版下载安装
  10. Mxnet (45): 使用sequence-aware recommender(Caser模型)进行电影推荐