爬虫--爬取人人网案列（一）

这里导入的包是用的这个https://blog.csdn.net/MR_HJY/article/details/81637745

from Day1.fengzhuang_all import get# url
url = 'http://www.renren.com/966927992'
# 构造headers
headers = {# 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',# 'Accept-Encoding': 'gzip, deflate',# 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',# 'Cache-Control': 'max-age=0',# 'Connection': 'keep-alive','Cookie': '***********',#根据自己的情况设置# 'Host': 'www.renren.com',# 'Referer': 'http://renren.com/',# 'Upgrade-Insecure-Requests': '1',# 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}
# 调用get函数
html_bytes = get(url, headers=headers)# 保存页面
with open('renren.html','wb') as f:f.write(html_bytes)

由此代码可以看出，只有cookie也可以成功，因为里面包含了所需要的信息。

代码很简单，因为这是第一个版本，后面会在此基础上添加新的东西，和进行进一步的封装

爬虫--爬取人人网案列（一）相关推荐

对爬虫爬取到的数据进行存储
已写章节第一章网络爬虫入门第二章基本库的使用第三章解析库的使用第四章数据存储第五章动态网页的抓取文章目录已写章节第四章数据存储 4.1 文件存储 4.1.1 TXT文件存储 ...
python爬表格数据_python爬虫,爬取表格数据
python爬虫,爬取表格数据 python爬虫,爬取表格数据 python爬虫,爬取全国空气质量指数编程环境:Jupyter Notebook 所要爬取的网页数据内容如下图 python爬虫代码及 ...
【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中（2）...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
python爬虫——爬取搜狗影视热门电视剧
python爬虫--爬取搜狗影视热门电视剧 1.结果图 2.这次爬取的网址请点击传送门搜狗影视热门电视剧 3.先构建请求头,请求头直接复制过来 4.接下来先请求这条url,通过format方法实现对 ...
JAVA写的网页爬虫爬取必应词典的词汇音标
为了建立一个英语词汇音标库,需要从网上搜索词汇音标,由于有10万多个词汇需要处理,所以做个这个单词音标爬虫爬取必应网络词典网页上的单词音标. package bingword;import java. ...
[python爬虫]爬取天气网全国所有县市的天气数据
[python爬虫]爬取天气网全国所有县市的天气数据访问URL 解析数据保存数据所要用到的库 import requests from lxml import etree import xlwt ...
爬虫爬取京东商品详细数据（品牌、售价、各类评论量（精确数量）、热评词及数量等）json解析部分数据
文章目录前言一.数据保存格式设置及数据库准备(CentOS云mysql数据库) 1.分析数据需求(单一商品为例) 2.数据库保存格式 3.用到的数据库操作及指令二.网页分析 1.分析网页源码,确 ...
python制作爬虫爬取京东商品评论教程
python制作爬虫爬取京东商品评论教程作者:蓝鲸类型:转载本文是继前2篇Python爬虫系列文章的后续篇,给大家介绍的是如何使用Python爬取京东商品评论信息的方法,并根据数据绘制成各种统计 ...
Python爬虫爬取知乎用户信息+寻找潜在客户
[Python应用]寻找社交网络中的目标用户日后的更新:由于是很久以前的课程设计项目,完整的源码已经不见了,关键的网页数据获取和解析的部分代码我在文章中已经贴出来了,但写的也不够好,如果想参考爬取知 ...
python网络爬虫_Python网络爬虫——爬取视频网站源视频！
原标题:Python网络爬虫--爬取视频网站源视频! 学习前提 1.了解python基础语法 2.了解re.selenium.BeautifulSoup.os.requests等python第三方库 ...

爬虫--爬取人人网案列（一）

这里导入的包是用的这个https://blog.csdn.net/MR_HJY/article/details/81637745

由此代码可以看出，只有cookie也可以成功，因为里面包含了所需要的信息。

代码很简单，因为这是第一个版本，后面会在此基础上添加新的东西，和进行进一步的封装

爬虫--爬取人人网案列（一）相关推荐

最新文章

热门文章