python模拟各大网站登陆方式,以及一些爬虫程序

  • 仅供练习使用,代码注释很详细

  • 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是利用scrapy,希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式,和爬虫程序,会持续更新。。。

  • 昨天加了个班,对一些老代码进行了重构和测试,大部分都可以用。

  • 欢迎star

模拟登录一些常见的网站

  • 如果你有什么比较难登陆的网站,比如发现用了selenium+webdriver都还登陆不了的网站,欢迎给我提issue
  1. requests
  2. selenium
  3. rsa
  4. phantomjs

项目地址

Github

关于

模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式,有的网站直接登录难度很大,比如qq空间,B站,如果采用selenium就相对轻松一些。

虽然在登录的时候采用的是selenium,为了效率,我们可以在登录过后得到的cookie维护起来,然后调用requests或者scrapy等进行数据采集,这样数据采集的速度可以得到保证。

已完成

  • [x] Facebook
  • [x] Twitter
  • [x] 微博网页版
  • [x] 知乎
  • [x] QQZone
  • [x] CSDN
  • [x] 淘宝
  • [x] Baidu
  • [x] 果壳
  • [x] JingDong
  • [x] 163mail
  • [x] 拉钩
  • [x] Bilibili
  • [x] 豆瓣
  • [x] Baidu2
  • [x] 猎聘网
  • [x] 微信网页版
  • [x] gihub
  • [x] 图虫

tips of pull request

  • 欢迎大家一起来 pull request

问题

  • 有的验证码需要手动,之后我会尽量改正
  • 代码失效:由于网站策略或者样式改变,导致代码失效,请给我提issue,如果你已经解决,可以提PR,谢谢!

另外

  • 如果你有什么比较难登陆的网站,比如发现用了selenium+webdriver都还登陆不了的网站,欢迎给我提issue
  • 如果该repo对大家有帮助,给个star鼓励鼓励吧

欢迎你们

  1. 项目写了一段时间后,发现代码的风格和程序的易用性,可扩展性,代码的可读性,都存在一定的问题,所以接下来最重要的是重构代码,让大家可以更容易的做出一些自己的小功能。
  2. 如果你觉得某个网站的登录很有代表性,欢迎在 issue 中提出

测试

Bilibili自动登录测试正常,成功率98%

web微信

图虫爬虫

项目地址

Github

具体

  • 请跳转到项目地址查看

最后

  • 大佬们慢点喷,小弟有点承受不住,---_---
  • 玩的开心各位。。

转载于:https://my.oschina.net/u/4092849/blog/3019497

python模拟各大网站登陆方式,以及一些爬虫程序,麻麻再也不用担心我学爬虫啦!...相关推荐

  1. python模拟各大网站登陆方式,以及一些爬虫程序, 麻麻再也不用担心我学爬虫啦!...

    python模拟各大网站登陆方式,以及一些爬虫程序 仅供练习使用,代码注释很详细 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是 ...

  2. # python模拟各大网站登陆方式, 包括爬虫--你们要的全都有

    python模拟各大网站登陆方式,以及一些爬虫程序 仅供练习使用,代码注释很详细 走过路过的大佬们,记得给个star支持一下,嘻嘻嘻? 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过s ...

  3. python 模拟各大网站登陆方式,以及一些爬虫程序

    仅供练习使用,代码注释很详细 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过 selenium 登录,有的是通过抓包直接模拟登录,有的是利用 scrapy,希望对小白有所帮助,本项目用 ...

  4. 各大网站登陆方式, 包括爬虫

    python模拟各大网站登陆方式,以及一些爬虫程序 仅供练习使用,代码注释很详细 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是 ...

  5. python 代理ip验证_Python 快速验证代理IP是否有效,再也不用担心被封IP了!

    有时候,我们需要用到代理IP,比如在爬虫的时候,但是得到了IP之后,可能不知道怎么验证这些IP是不是有效的,这时候我们可以使用Python携带该IP来模拟访问某一个网站,如果多次未成功访问,则说明这个 ...

  6. 关于如何使用python下载各大网站的视频

    关于如何使用python下载各大网站的视频 前提摘要: 最近有些朋友问我怎么下载例如腾讯爱奇艺这些网站的视频,众所周知,这些网站视频只能先在PC端下载他们的客户端,然后再在客户端上缓存,而且缓存下来的 ...

  7. python实现抢劵_用Python实现微信自动化抢红包,再也不用担心抢不到红包了

    1. 概述 刚刚收到了两个消息,一个好消息,一个坏消息. 先说好消息,好消息就是微信群里有人要发红包,开心~ 不过转念一想,前几次的红包一个都没抢到,这次???不由自主的叹了一口气 ... 过了一会, ...

  8. 通过python我实现了照片转化为动漫模式,媳妇儿再也不用愁没有好看的头像了~

    ​ 最近某音上的动漫特效特别火,很多人都玩着动漫肖像,我媳妇儿也不例外.看着她这么喜欢这个特效,我决定做一个图片处理工具,这样媳妇儿的动漫头像就有着落了. 编码 为了快速实现我们的目标,我们就不自己写 ...

  9. 自媒体人必备的4个素材网站,再也不用担心找不到素材

    经常看到很多自媒体人问,不知道怎么找素材,每次写文章的时候都觉得灵感枯竭,素材不够用,文章没有足够的内容支撑.不慌,今天就给大家介绍5个实用的素材网站,让你再也不用担心找不到素材: 01 热文素材-- ...

最新文章

  1. epoll的ET和LT模式
  2. opencv 图像 抠图 算法_我讨厌这个绿油油的头像!我用opencv换一下背景
  3. 分支管理---分支管理策略
  4. 架构师必须掌握的 10 条设计原则
  5. Warning: mysqli::__construct(): php_network_getaddresses: getaddrinfo failed:
  6. 【Java】一个List按照另一个List的数据顺序来排序
  7. blob类型对象转为file类型对象
  8. MMORPG大型游戏设计与开发(构架)
  9. 人工智能之语音识别概述(一)
  10. 误删阿里云mysql恢复数据恢复_阿里云数据库表数据误删恢复
  11. 【DAOS】Intel DAOS 分布式异步对象存储
  12. NLPCC'22 | 一种兼具准确性和多样性的图像风格化描述生成框架
  13. Linux如何终止D状态的进程
  14. 一起从零开始学VUE(1) VUE基本使用步骤和指令
  15. 情商决定了工作方面的成就
  16. 卧槽!百度网盘 VIP 可以免费白嫖了!亲测有效!!!
  17. 桌面开始和快捷方式消失了
  18. PS动作怎么做出水墨散开GIF动态图片效果
  19. Happy Hours, Happy Days
  20. An unhandled exception occurred: Cannot find module ‘@angular-devkit/build-angular/package.json‘ Req

热门文章

  1. 福布斯发布十亿美元区块链公司名单
  2. Java小玩意:猜数游戏
  3. 计算机应用文摘杂志影响因子,计算机应用文摘杂志
  4. Qt5 pyqt5图片编辑器功能函数一篇全搞定:实现图片格式转换、显示、缩放、特效处理(模糊、锐化,浮雕等等)
  5. OpenRPG横版格斗RPG(Demo)
  6. NVRAM\FLASH\NVM的区别
  7. 郭德纲最新相声:我要踢足球
  8. Elasticsearch搜素引擎入门
  9. oracle drop ship,PO:Drop Shipment Process
  10. 12个Material Design风格控件的使用