python3中urllib2_urllib2库在Python中的基本使用

不想说废话了，所以这篇文章还是同样直奔猪蹄......快到饭点了，见谅见谅。这次，我们聊聊urllib2库在Python(Python2 Python3)中的基本使用，希望大家会喜欢啦~

urllib2库的基本使用:

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib2。urllib2 在 python3.x 中被改为urllib.request.

在python2中，urllib2的库基本使用：

# 导入urllib2 库

import urllib2

# 向指定的url发送请求，并返回服务器响应的类文件对象

response = urllib2.urlopen("http://www.baidu.com")

#read()方法读取文件全部内容，返回字符串

html = response.read()

# 打印字符串

print(html)

在python3中，urllib库的使用:

#导入urllib库

import urllib.request

# 向指定的url发送请求，并返回服务器响应的类文件对象

response=urllib.request.urlopen('http://www.baidu.com')

#read()方法读取文件全部内容，返回字符串

html=response.read()

print(html)

如何模拟浏览器进行访问？

最好通过抓包工具，或者浏览器的调试工具，找到Headers.

#导入模块

import urllib.request

import urllib.parse

#url，模拟浏览器

hearder={

'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'

}

#发送请求

request=urllib.request.Request(url,headers=header)

response=urllib.request.urlopen(request).read()

#写入文件

f=open("./1.html","wb")

f.write(reponse)

f.close()

好了好了，学习时间结束，快去玩水吧。呃，不对，玩耍，怪输入法还是怪我？这都不重要，重要的是要记得关注我。。。一遍又一遍地强调这个问题，就是因为你不关注我。

python3中urllib2_urllib2库在Python中的基本使用相关推荐

python支持函数式编程吗_利用Fn.py库在Python中进行函数式编程
尽管Python事实上并不是一门纯函数式编程语言,但它本身是一门多范型语言,并给了你足够的自由利用函数式编程的便利.函数式风格有着各种理论与实际上的好处(你可以在Python的文档中找到这个列表): ...
python基础教程：通过Turtle库在Python中绘制一个鼠年福鼠
这篇文章主要介绍了通过Turtle库在Python中绘制一个鼠年福鼠,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下 turtle库是一个很经典的绘图库,其最初来自 ...
python turtle 画老鼠_通过Turtle库在Python中绘制一个鼠年福鼠
turtle库是一个很经典的绘图库,其最初来自于1967年创造的logo编程语言,之后被Python编写放到了Python的内置模块中.网络上有很多借助于turtle绘制精美图像的案例.比如小猪佩奇. ...
python中turtle画老虎_通过Turtle库在Python中绘制一个鼠年福鼠
turtle库是一个很经典的绘图库,其最初来自于1967年创造的logo编程语言,之后被Python编写放到了Python的内置模块中.网络上有很多借助于turtle绘制精美图像的案例.比如小猪佩奇. ...
python中readlines函数用法,python中read() readline()以及readlines()用法
我们谈到"文本处理"时,我们通常是指处理的内容.Python 将文本文件的内容读入可以操作的字符串变量非常容易.文件对象提供了三个"读"方法: .read(). ...
【科学文献计量】将Endnote中的文献读入python中进行数据分析，并顺便将结果保存为Excel文件，并封装函数直接调用
将Endnote中的文献读入python中进行数据分析,并顺便将结果保存为Excel文件 1 需求 2 功能完成 2.1 文献下载 2.2 文献导入到Endnote 2.3 文献导出 2.4 文件加载 ...
python3 readexcel pandas问题,使用python中的pandas中的read_excel函数将日期保留为字符串...
Python 2.7.10 Tried pandas 0.17.1 -- function read_excel Tried pyexcel 0.1.7 + pyexcel-xlsx 0.0.7 -- ...
ipaddress库：Python中网络地址的处理
目录前言地址网络打印网络地址有多少IP可用接口前言 ipaddress库提供了处理IPv4与IPv6网络地址的类.这些类支持验证,查找网络上的地址和主机,以及其他常见的操作. 本篇,将详细 ...
python3 isinstance用法_对python中assert、isinstance的用法详解
1. assert 函数说明: Assert statements are a convenient way to insert debugging assertions into a program ...

python3中urllib2_urllib2库在Python中的基本使用

python3中urllib2_urllib2库在Python中的基本使用相关推荐

最新文章

热门文章