python 爬虫关于requests的基础知识及常用的一些User-Agent

学习自《python3网络爬虫开发实战》, 整理以备日后回顾

基本属性

requests库的话是第三方库,需要安装

pycharm 第三方库安装流程 File —> settings —> Project —> Interpreter —> + —> install

import requests
response = requests.get('http://www.baidu.com')
print(response)
print(type(response))
print(response.status_code)
print(type(response.text))
print(response.text)
print(response.cookies)
print(response.headers)

提交参数

import requests
data = {'name': 'hhhfox','age': '68'
}
response = requests.get('http://httpbin.org/get', params=data)
print(response.text)

提交 headers

import requestsheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36''(KHTML, like Gecko) Chrome/77.0.3865.75 Safari/537.36'
}response = requests.get('http://httpbin.org/get', headers=headers)
print(response.text)

抓取二进制数据

import requests
response = requests.get('https://www.baidu.com/img/pc_1c6e30772d5e4103103bd460913332f9.png')
with open('e:\ baidu.jpg','wb') as f:f.write(response.content)

证书验证及请求时间限制

import requests
response = requests.get('https://www.12306.cn', verify=True, timeout=5)
# verify False 不进行证书验证，True 则进行验证，timeout 设置超时时间..
print(response.status_code)

常用的浏览器 User-Agent 收集自网络

'''
Firefox
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0
Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10Safari
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2chrome
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16360 浏览器
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36
Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko淘宝浏览器
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11QQ 浏览器
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)sogou浏览器
Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)UC 浏览器
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36'''

python 爬虫关于requests的基础知识及常用的一些User-Agent相关推荐

【转载】爬虫篇——requests的基础知识（总结）
注意:本文章的大部分代码案例出自于<Python3 网络爬虫开发实战(第2版)>. 一.GET请求 import requestsres = requests.get('https://w ...
Python爬虫之Requests的基础运用
1. Requests库的简介与安装 2. Requests请求方式 2.1 GET请求 2.2 POST请求 2.3 获取响应内容 3. Requests模块简单的使用 3.1 搭建简易采集器 3. ...
python网络爬虫的基本步骤-python爬虫入门需要哪些基础/python 网络爬虫教程
如何入门 Python 爬虫入门个吊,放弃 python爬虫入门需要哪些基础现在之所以有多的小伙伴热衷于爬虫技术,无外乎是因为爬我们做很多事情,比如搜索引擎.采集数据.广告过滤等,以Python为 ...
要学会Python爬虫都需要什么基础呢？
提到Python自然就会想到爬虫,很多同学学习Python的目的也是为了使用爬虫,那么你知道想要学会Python爬虫都需要什么基础吗?下面小千就来告诉你. 学Python爬虫需要掌握的基础 1.Pyt ...
小猪的Python学习之旅 —— 1.基础知识储备
小猪的Python学习之旅 -- 1.基础知识储备引言: (文章比较长,建议看目录按需学习-) 以前刚学编程的时候就对Python略有耳闻,不过学校只有C,C++,Java,C#. 和PHP有句&q ...
爬虫入门—requests模块基础之关键字搜狗搜索信息页面爬取
爬虫入门-requests模块基础之关键字搜狗搜索信息页面爬取 Author: Labyrinthine Leo Init_time: 2021.02.16 Key Words: Spider.r ...
爬虫入门—requests模块基础之药监企业信息爬取
爬虫入门-requests模块基础之药监企业信息爬取 Author: Labyrinthine Leo Init_time: 2021.02.22 Key Words: Spider.reques ...
Python学习--最完整的基础知识大全
##Python学习–最完整的基础知识大全关于python的基础知识学习,网上有很多资料,今天我就把我收藏的整理一下分享给大家! #####菜鸟教程python2 #####菜鸟教程python3 ...
Python系列之 matplotlib库基础知识
Python系列之 matplotlib库基础知识学习 Pyplot 简单示例中文显示问题注册全局字体 font_manager.FontProperties注册字体 Figure Figur ...

python 爬虫关于requests的基础知识及常用的一些User-Agent

python 爬虫关于requests的基础知识及常用的一些User-Agent相关推荐

最新文章

热门文章

python 爬虫 关于requests的基础知识及常用的一些User-Agent

python 爬虫 关于requests的基础知识及常用的一些User-Agent相关推荐

最新文章

热门文章

python 爬虫关于requests的基础知识及常用的一些User-Agent

python 爬虫关于requests的基础知识及常用的一些User-Agent相关推荐