爬虫快速入门——Request对象的使用

直接上代码，解释在注释，不懂评论留言，必回

# 项目名称：
# 项目简介：
# 作   者：key
# 开发时间：2020/10/24 19:22
from urllib.request import urlopen
from urllib.request import Request
from fake_useragent import UserAgent
from random import choiceurl = "http://www.baidu.com"
# 获取请求头，在network中，或者fiddler中抓取# 创建动态请求头，避免自己每次都手动切换user-agent
# 方法一，创建user-agent列表，拷贝一些不同浏览器的user-agent,然后用random.choice(user-agent)去随机获取
# useragent = [
#     'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36',
#     'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36',
#     'Mozilla/5.0 (Windows ME 4.9; rv:31.0) Gecko/20100101 Firefox/31.7',
#     'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; chromeframe/13.0.782.215)'
# ]
# # print(choice(useragent))
# headers = {#     'User-Agent':choice(useragent)
# }
# # 方法二，导入第三方包，fake-useragent,然后条用UserAgent类对象
# ua = UserAgent()
# # print(ua.chrome)
# # print(ua.ie)
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/84.0.4147.89 Safari/537.36 "
}# 包装成浏览器访问
request = Request(url, headers=headers)
#打印返回请求头
#这里有一个坑，就是在headers字典中，给User-Agent赋值的时候，底层会自动将User的首字母大写
#get_header返回请求头的时候，Agent首字母大写，将获取不到数据（我也不知道为什么，反正就是这样）
#print(request.get_header('User-agent'))   # 返回Mozilla/5.0 ...... Chrome/84.0.4147.89 Safari/537.36
#print(request.get_header('User-Agent'))   # 返回None
# 进行访问
response = urlopen(request)
#返回读取数据
info = response.read()
# 转化成unicode编码格式
print(info.decode())

爬虫快速入门——Request对象的使用相关推荐

python3 爬虫实例_【实战练习】Python3网络爬虫快速入门实战解析（上）
原标题:[实战练习]Python3网络爬虫快速入门实战解析(上) 摘要使用python3学习网络爬虫,快速入门静态网站爬取和动态网站爬取 [ 前言 ] 强烈建议:请在电脑的陪同下,阅读本文.本文以实 ...
Python教程：网络爬虫快速入门实战解析
建议: 请在电脑的陪同下,阅读本文.本文以实战为主,阅读过程如稍有不适,还望多加练习. 网络爬虫简介网络爬虫,也叫网络蜘蛛(Web Spider).它根据网页地址(URL)爬取网页内容,而网页地址( ...
Python3网络爬虫快速入门实战解析
Python3网络爬虫快速入门实战解析标签: python网络爬虫 2017-09-28 14:48 6266人阅读评论(34) 收藏举报分类: Python(26) 作者同类文章X 版权声明 ...
Python3 网络爬虫快速入门实战解析
点击上方"Python高校",关注文末干货立马到手作者:Jack Cui http://cuijiahua.com/blog/2017/10/spider_tutorial_1 ...
『Python开发实战菜鸟教程』实战篇：爬虫快速入门——统计分析CSDN与博客园博客阅读数据
文章目录 0x01:引子首先介绍一下网络爬虫是什么,可以用来做什么? 这里简单探讨一下网络爬虫的合法性正式进入爬虫实战前,需要我们了解下网页结构 HTML CSS JScript 写一个简单的 H ...
beautifulsoup网页爬虫解析_Python3 网络爬虫快速入门实战解析
点击上方"Python高校",关注文末干货立马到手作者:Jack Cui http://cuijiahua.com/blog/2017/10/spider_tutorial_1 ...
Python3网络爬虫快速入门实战解析（一小时入门 Python 3 网络爬虫）
Python3网络爬虫快速入门实战解析(一小时入门 Python 3 网络爬虫) https://blog.csdn.net/u012662731/article/details/78537432 出 ...
node爬虫快速入门
node爬虫初入前端,刚刚接触node,对于耳闻已久的node爬虫非常神往,所以有了这篇文章,项目代码在文章末尾需求抓取天涯论坛重庆地区板块的文章列表信息. 使用工具 node.js super ...
【Python】Python爬虫快速入门，BeautifulSoup基本使用及实践
来源:Python数据之道作者:Peter 整理:阳哥爬虫,是学习Python的一个有用的分支,互联网时代,信息浩瀚如海,如果能够便捷的获取有用的信息,我们便有可能领先一步,而爬虫正是这样的一个工 ...

爬虫快速入门——Request对象的使用

直接上代码，解释在注释，不懂评论留言，必回

爬虫快速入门——Request对象的使用相关推荐

最新文章

热门文章