python爬虫模拟浏览器的两种方法_python爬虫模拟浏览器访问-User-Agent过程解析

这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

模拟浏览器访问-User-Agent：

import urllib2

#User-Agent 模拟浏览器访问

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}

#通过urllib2.Request()方法构造一个请求对象

request = urllib2.Request("http://www.baidu.com/",headers = headers)

#向指定的URL地址发送请求，并返回服务器响应的类文件对象

#response是服务器响应的类文件，除了支持文件操作的方法外，还支持以下常用的方法：

response = urllib2.urlopen(request)

#服务器返回的类文件对象支持python文件对象的操作方法

#read()方法就是读取文件里的全部内容，返回字符串

html = response.read()

#返回HTTP的响应码，成功返回200,4服务器页面出错；5.服务器问题

print response.getcode()

#返回实际数据的实际URL，防止重定向问题

print response.geturl()

#返回服务器响应的HTTP报头

print response.info()

#打印响应内容

print(html)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

python爬虫模拟浏览器的两种方法_python爬虫模拟浏览器访问-User-Agent过程解析相关推荐

python怎么模拟浏览器交互_干货分享：python爬虫模拟浏览器的两种方法实例分析（赶紧收藏）...
今天为大家带来的内容是:干货分享:python爬虫模拟浏览器的两种方法实例分析(赶紧收藏) 文章主要介绍了python爬虫模拟浏览器的两种方法,结合实例形式分析了Python爬虫模拟浏览器的两种常见操 ...
站长在线Python精讲：在Python中格式化字符串的两种方法详解
欢迎你来到站长在线的站长学堂学习Python知识,本文学习的是<在Python中格式化字符串的两种方法详解>.本知识点主要内容有:使用%操作符格式化字符串和使用format()方法格式化字 ...
python文字教程-Python在图片中添加文字的两种方法
本文主要介绍的是利用Python在图片中添加文字的两种方法,下面分享处理供大家参考学习,下来要看看吧一.使用OpenCV 在图片中添加文字看上去很简单,但是如果是利用OpenCV来做却很麻烦.Ope ...
python自带的shell是什么-python中执行shell的两种方法总结
一.使用python内置commands模块执行shell commands对Python的os.popen()进行了封装,使用SHELL命令字符串作为其参数,返回命令的结果数据以及命令执行的状态: ...
python 手动安装包的两种方法
python 手动安装包的两种方法对于 .tar.gz 的包来说解压缩文件 aaaxxxx-1.0.1.tar.gz 移动到压缩文件所在目录使用tar -zxvf aaaxxxx-1.0.1.t ...
python下载方法-python实现下载文件的三种方法_python
本篇文章主要介绍了python实现下载文件的三种方法,最常用的方法就是通过Http利用urllib或者urllib2模块还有requests,有兴趣的可以了解一下. Python开发中时长遇到要下载文 ...
python 下载文件-python实现下载文件的三种方法_python
本篇文章主要介绍了python实现下载文件的三种方法,最常用的方法就是通过Http利用urllib或者urllib2模块还有requests,有兴趣的可以了解一下. Python开发中时长遇到要下载文 ...
python list列表排序的两种方法及实例讲解
对List进行排序,Python提供了两个方法方法1.用List的内建函数list.sort进行排序 list.sort(func=None, key=None, reverse=False) Py ...
sqrt函数模拟实现的两种方法
起因:在leetcode刷题时,有一道题目考察了有关sqrt的原理的题目,当时就去查了网上的文章,结果发现,一开始的时候看的很懵,最后也是搞定了两种方法,今天我就以最简单的方式写下这两种方式的思路讲解 ...

python爬虫模拟浏览器的两种方法_python爬虫模拟浏览器访问-User-Agent过程解析

python爬虫模拟浏览器的两种方法_python爬虫模拟浏览器访问-User-Agent过程解析相关推荐

最新文章

热门文章