爬虫-练习-爬取访问后可见的内容

目标网址

https://mp.csdn.net/postlist

一，请求头带上cookie数据

先写一个模块

spidertool.py

# 爬虫的请求处理模块def trans_head_2_dict(head):"""接收字符串，转换为字典"""res = dict()head_list = head.split(":")res[head_list[0]] = head_list[1].strip()return res

import requests
import spidertool# 请求网址
url = "https://mp.csdn.net/postlist"# UA
ua_str = """user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"""
ua_dict = spidertool.trans_head_2_dict(ua_str)
# cookie
cookie_str =  自己cookie
cookie_dict = spidertool.trans_head_2_dict(cookie_str)
# headers
headers ={}
headers.update(cookie_dict)
headers.update(ua_dict)
print(headers)# 发起请求
res = requests.get(url, headers = headers)
con = res.content.decode()with open('a.html', 'w', encoding='utf8') as f:f.write(con)

爬虫-练习-爬取访问后可见的内容相关推荐

如何去使用Python爬虫来爬取B站的弹幕数据？
哔哩哔哩众所周知是弹幕的天堂,视频观看人数越多,弹幕也就越多.今天小千就来教大家如何去使用Python开发一个爬虫来爬取B站的弹幕数据. 1.弹幕哪里找? 平常我们在看视频时,弹幕是出现在视频上的.实 ...
[python爬虫] Selenium爬取内容并存储至MySQL数据库
前面我通过一篇文章讲述了如何爬取CSDN的博客摘要等信息.通常,在使用Selenium爬虫爬取数据后,需要存储在TXT文本中,但是这是很难进行数据处理和数据分析的.这篇文章主要讲述通过Selenium ...
python爬取豆瓣电影top250_Python爬虫 - scrapy - 爬取豆瓣电影TOP250
0.前言新接触爬虫,经过一段时间的实践,写了几个简单爬虫,爬取豆瓣电影的爬虫例子网上有很多,但都很简单,大部分只介绍了请求页面和解析部分,对于新手而言,我希望能够有一个比较全面的实例.所以找了很多实 ...
Python爬虫实战爬取租房网站2w+数据-链家上海区域信息（超详细）
Python爬虫实战爬取租房网站-链家上海区域信息(过程超详细) 内容可能有点啰嗦大佬们请见谅后面会贴代码带火们有需求的话就用吧正好这几天做的实验报告就直接拿过来了,我想后面应该会有人用的到吧 ...
lofter 爬虫_Python网络爬虫1 - 爬取网易LOFTER图片
LOFTER是网易出品的优质轻博客,灵感源于国外的tumblr,但比之更加文艺,更加本地化.本人非常喜欢LOFTER的UI设计,以及其中的优质用户和内容,似乎网易并不擅长推广,所以受众并不广泛.这都是 ...
爬虫之爬取易班推文信息
简介趁着周末有空,最近又在做爬虫相关的功能,想将易班的推文信息放到自己的小程序里,奈何网上没有找到合适的文章,于是就自己研究了一下易班推文的爬取,使用Springboot设置定时任务去爬取,在爬取信 ...
python爬虫实战---爬取大众点评评论
python爬虫实战-爬取大众点评评论(加密字体) 1.首先打开一个店铺找到评论很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多 ...
python爬虫之爬取网页基础知识及环境配置概括
记:python爬虫是爬取网页数据.统计数据必备的知识体系,当我们想统计某个网页的部分数据时,就需要python爬虫进行网络数据的爬取,英文翻译为 spider 爬虫的核心 1.爬取网页:爬取整个网页 ...
Python爬虫可以爬取什么呢？
Python_Python爬虫可以爬取什么如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多, 一方面,互联网可以获取的数据越来越多, 另一方面,像 Python这样的编程语言提供越来越多的优 ...

爬虫-练习-爬取访问后可见的内容

目标网址

一，请求头带上cookie数据

爬虫-练习-爬取访问后可见的内容相关推荐

最新文章

热门文章