1.点开开心网的登录界面

我们发现这是用form表单实现账号登录的

2.获取login_url 以及账号和密码

第一种方法：F12 找到form表单

首先在form表单中找到action,即为要提交的url

form表单里面的内容是要提交的数据，找到id；没有id，就找name

第二种方法：Network

输入账号，密码，点击登录，此时htttp的请求方法是post

打开F12 找到network

formData 里面的数据即为要提交的数据

3.开始写代码

"""
开心网登陆，获取主页
"""
import requests
# 登录的url
login_url = 'https://security.kaixin001.com/login/login_auth.php'
data_dic = {"loginemail": "账号","password": "密码",
}
session = requests.session()
response = session.post(url=login_url, data=data_dic)
response1 = session.get(url='http://www.kaixin001.com/home/?uid=181850221&s=39')
# url为登录进去之后主页的地址
with open('kaixin001_login_result.html', 'w', encoding=response1.encoding) as fp:fp.write(response1.text)

4.效果

已成功获取到账户登录成功界面的代码

要是不放心的话，在运行一下，在浏览器中查看一下

这就说明我们成功的爬取到了账户主页的代码！！

成功！！！

通过session实现通用爬虫--爬取到开心网账户的首页界面相关推荐

Scrapy 通用爬虫爬取广西人才网数据记录（上，企业信息）
2019独角兽企业重金招聘Python工程师标准>>> 背景这一次的通用爬虫跟以往默认的spider不一样,它的爬取可以通过正则将范围扩大,而且它也不注重那么细的内容,能爬尽量爬. ...
爬虫-爬取博客的演练-首页内容保存-首页文章列表与url
一,爬取博客的主页 import requestsurl = "https://me.csdn.net/ifubing"# https://blog.csdn.net/ifubin ...
基于requests模块的cookie,session和线程池爬取
基于requests模块的cookie,session和线程池爬取有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三"人人网"个人主页数据)时,如果使用之前req ...
python网易云_用python爬虫爬取网易云音乐
标签: 使用python爬虫爬取网易云音乐需要使用的模块只需要requests模块和os模块即可开始工作先去网易云音乐网页版找一下你想要听的歌曲点击进去.按键盘F12打开网页调试工具,点击Ne ...
python爬虫----爬取网易云音乐
使用python爬虫爬取网易云音乐目录使用python爬虫爬取网易云音乐需要使用的模块开始工作运行结果需要使用的模块只需要requests模块和os模块即可开始工作先去网易云音乐网页 ...
基于爬虫爬取的数据，完成数据展示网站
文章目录前言一.列表分页二.注册登录三.查询支持布尔表达式四.图表五.入口创建总结前言学期进入尾声 web编程课程迎来了期末大作业作业要求如下: 基于第一个项目爬虫爬取的数据, ...
Python爬虫爬取美女写真实例
Python爬虫爬取美女写真实例微信关注公众号:夜寒信息致力于为每一位用户免费提供更优质技术帮助与资源供给,感谢支持! 这是我写的一个较为简单的爬虫代码,用于爬取美女写真(咳咳,当然是正规 ...
网络爬虫爬取拉勾招聘网
网络爬虫爬取拉勾招聘网搭配好环境复制以下代码 # -*- coding: utf-8 -*- """ Created on Mon Sep 7 21:44:39 20 ...
Python爬虫-爬取快看漫画网图片并拼接成漫画长图
Python爬虫-爬取快看漫画网图片并拼接成漫画长图 1.爬取图片 2.拼接图片 1.爬取图片 import os import requests from bs4 import BeautifulS ...
我的第一个开源项目：Java爬虫爬取旧版正方教务系统课程表、成绩表
Java爬虫爬取旧版正方教务系统课程表.成绩表一.项目展示 1.正方教务系统首页 2.爬虫系统首页: 成绩查询: 课表查询: 二.项目实现 1.爬取思路描述无论是成绩查询或课表查询亦或者其它的 ...

通过session实现通用爬虫--爬取到开心网账户的首页界面

1.点开开心网的登录界面

2.获取login_url 以及账号和密码

第一种方法：F12 找到form表单

第二种方法：Network

3.开始写代码

通过session实现通用爬虫--爬取到开心网账户的首页界面相关推荐

最新文章

热门文章

通过session实现通用爬虫--爬取到开心网账户的首页界面

1.点开开心网的登录界面

2.获取login_url 以及 账号和密码

第一种方法 ：F12 找到form表单

第二种方法：Network

3.开始写代码

通过session实现通用爬虫--爬取到开心网账户的首页界面相关推荐

最新文章

热门文章

2.获取login_url 以及账号和密码

第一种方法：F12 找到form表单