python 模拟各大网站登陆方式，以及一些爬虫程序

仅供练习使用，代码注释很详细
收集了一些各大网站登陆方式，和一些网站的爬虫程序，有的是通过 selenium 登录，有的是通过抓包直接模拟登录，有的是利用 scrapy,希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式，和爬虫程序，会持续更新。。。
昨天加了个班，对一些老代码进行了重构和测试，大部分都可以用。
欢迎 star
模拟登录一些常见的网站
如果你有什么比较难登陆的网站，比如发现用了 selenium+webdriver 都还登陆不了的网站，欢迎给我提 issue
requests
selenium
rsa
phantomjs
项目地址
Github

关于
模拟登陆基本采用的是直接登录或者使用 selenium+webdriver 的方式，有的网站直接登录难度很大，比如 qq 空间，B 站，如果采用 selenium 就相对轻松一些。

虽然在登录的时候采用的是 selenium,为了效率，我们可以在登录过后得到的 cookie 维护起来，然后调用 requests 或者 scrapy 等进行数据采集，这样数据采集的速度可以得到保证。

已完成
[x] Facebook
[x] Twitter
[x] 微博网页版
[x] 知乎
[x] QQZone
[x] CSDN
[x] 淘宝
[x] Baidu
[x] 果壳
[x] JingDong
[x] 163mail
[x] 拉钩
[x] Bilibili
[x] 豆瓣
[x] V2EX
[x] Baidu2
[x] 猎聘网
[x] 微信网页版
[x] gihub
[x] 图虫
tips of pull request
欢迎大家一起来 pull request
问题
有的验证码需要手动，之后我会尽量改正
代码失效：由于网站策略或者样式改变，导致代码失效，请给我提 issue，如果你已经解决，可以提 PR，谢谢！
另外
如果你有什么比较难登陆的网站，比如发现用了 selenium+webdriver 都还登陆不了的网站，欢迎给我提 issue
如果该 repo 对大家有帮助，给个 star 鼓励鼓励吧
欢迎你们
项目写了一段时间后，发现代码的风格和程序的易用性，可扩展性，代码的可读性，都存在一定的问题，所以接下来最重要的是重构代码，让大家可以更容易的做出一些自己的小功能。
如果你觉得某个网站的登录很有代表性，欢迎在 issue 中提出
测试
Bilibili 自动登录测试正常，成功率 98%
图虫爬虫
测试的高匿动态IP资源来源于飞蚁代理，表示感谢

文章作者：V2EX CriseLYJ

python 模拟各大网站登陆方式，以及一些爬虫程序相关推荐

# python模拟各大网站登陆方式，包括爬虫--你们要的全都有
python模拟各大网站登陆方式,以及一些爬虫程序仅供练习使用,代码注释很详细走过路过的大佬们,记得给个star支持一下,嘻嘻嘻? 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过s ...
python模拟各大网站登陆方式，以及一些爬虫程序,麻麻再也不用担心我学爬虫啦！...
python模拟各大网站登陆方式,以及一些爬虫程序仅供练习使用,代码注释很详细收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是 ...
python模拟各大网站登陆方式，以及一些爬虫程序, 麻麻再也不用担心我学爬虫啦！...
python模拟各大网站登陆方式,以及一些爬虫程序仅供练习使用,代码注释很详细收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是 ...
各大网站登陆方式，包括爬虫
python模拟各大网站登陆方式,以及一些爬虫程序仅供练习使用,代码注释很详细收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是 ...
关于如何使用python下载各大网站的视频
关于如何使用python下载各大网站的视频前提摘要: 最近有些朋友问我怎么下载例如腾讯爱奇艺这些网站的视频,众所周知,这些网站视频只能先在PC端下载他们的客户端,然后再在客户端上缓存,而且缓存下来的 ...
python模拟-食行生鲜登陆
目标路径 : https://wechatx.34580.com/mart/#/sign/in 需要解决的问题: 当我们登陆的时候会发现密码进行了加密,这个时候怎么找到加密的函数尤为重要,这里为大家进 ...
python爬取电影网站存储于数据库_python爬虫猫眼电影和电影天堂数据csv和mysql存储过程解析...
字符串常用方法 # 去掉左右空格 'hello world'.strip() # 'hello world' # 按指定字符切割 'hello world'.split(' ') # ['hello' ...
python模拟购物车购物过程_Python基于数列实现购物车程序过程详解
要求 1.启动程序后让用户输入余额,并打印商品列表 2.用户通过输入编号购买商品 3.用户选择商品购买后,根据余额判断成功或者失败,给出对应提示 4.可以随时退出,退出后打印账号余额以及购买的商品列表 ...
Python不使用scrapy框架而编写的网页爬虫程序
本文代码节选(略有改动)自<Python程序设计(第2版)>(董付国编著,清华大学出版社),没有使用scrapy爬虫框架,而是使用标准库urllib访问网页实现爬虫功能,如果网页包含感兴趣 ...

python 模拟各大网站登陆方式，以及一些爬虫程序

python 模拟各大网站登陆方式，以及一些爬虫程序相关推荐

最新文章

热门文章