python爬虫需要调用什么模块_python爬虫需要调用什么模块

python 爬虫常用模块：

Python标准库——urllib模块

功能：打开URL和http协议之类

注：python 3.x中urllib库和urilib2库合并成了urllib库。

其中urllib2.urlopen()变成了urllib.request.urlopen()，urllib2.Request()变成了urllib.request.Request()

urllib请求返回网页

urllib.request.urlopenurllib.request.open(url[,data,[timeout,[cafile,[capth[,cadefault,[context]]]]]])

urllib.requset.urlioen可以打开HTTP（主要）、HTTPS、FTP、协议的URL

ca 身份验证

data 以post方式提交URL时使用

url 提交网络地址（全程前端需协议名后端需端口 http:/192.168.1.1:80）

timeout 超时时间设置

函数返回对象有三个额外的方法

geturl() 返回response的url信息

常用与url重定向info()返回response的基本信息

getcode()返回response的状态代码

示例：#coding:utf-8

import urllib.request

import time

import platform

#清屏函数(无关紧要可以不写)

def clear():

print(u"内容过多 3秒后清屏")

time.sleep(3)

OS = platform.system()

if (OS == u'Windows'):

os.system('cls')

else:

os.system('clear')

#访问函数

def linkbaidu():

url = 'http://www.baidu.com'

try:

response = urllib.request.urlopen(url,timeout=3)

except urllib.URLError:

print(u'网络地址错误')

exit()

with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:

response = urllib.request.urlopen(url,timeout=3)

fp.write(response.read())

print(u'获取url信息，response.geturl()\n:%s'%response.getrul())

print(u'获取返回代码，response.getcode()\n:%s' % response.getcode())

print(u'获取返回信息，response.info()\n:%s' % response.info())

print(u"获取的网页信息经存与baidu.txt")

if __name__ =='main':

linkbaidu()

Python标准库–logging模块

logging模块能够代替print函数的功能，将标准输出到日志文件保存起来，利用loggin模块可以部分替代debug

re模块

正则表达式

sys模块

系统相关模块

sys.argv(返回一个列表，包含所有的命令行)

sys.exit(退出程序)

Scrapy框架

urllib和re配合使用已经太落后，现在主流的是Scrapy框架

更多Python相关技术文章，请访问Python教程栏目进行学习！

本文地址：http://itbyc.com/Python/22498.html

转载请注明出处。

python爬虫需要调用什么模块_python爬虫需要调用什么模块相关推荐

python爬虫用多线程还是多进程_python爬虫之多线程、多进程爬虫
多线程对爬虫的效率提高是非凡的,当我们使用python的多线程有几点是需要我们知道的: countdown是一个计数的方法,正常执行它,我们一般使用countdown(10),就可以达到执行的目的,当 ...
python爬取新浪微博数据中心_Python爬虫框架Scrapy实战之批量抓取招聘信息
网络爬虫抓取特定网站网页的html数据,但是一个网站有上千上万条数据,我们不可能知道网站网页的url地址,所以,要有个技巧去抓取网站的所有html页面.Scrapy是纯Python实现的爬虫框架,用户 ...
python爬虫脚本初级入门爬虫英雄联盟所有皮肤_Python爬虫练习：20行Python代码爬取王者荣耀全英雄皮肤...
引言王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了.我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行Python代码即可完成. 准备工作 ...
python selenium 进入新标签页_Python 爬虫 | 用selenium实现批改网的自动翻译
今天我们用selenium+chrome来自动写入批改网的作业,老师为了让我们认真的写作业会把复制粘贴的功能给锁了,但这怎么可能难得倒我们学程序的呢,看我写程序自动帮忙写入目录: 1.准备环境 2. ...
python的scrapy框架的安装_Python爬虫基础（四）--Scrapy框架的安装及介绍
Scrapy框架的介绍安装: pip3 install Scrapy 安装测试: cmd命令行界面,输入:scrapy -h 框架安装完成: scrapy框架: 分为五个模块+两个中间件(5+2结构 ...
python爬取网页数据软件_python爬虫入门10分钟爬取一个网站
一.基础入门 1.1什么是爬虫爬虫(spider,又网络爬虫),是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序. 从技术层面来说就是通过程序模拟浏览器请求站点的行为,把站点返回的HT ...
python爬虫十二种方法_Python爬虫的N种姿势
问题的由来前几天,在微信公众号(Python爬虫及算法)上有个人问了笔者一个问题,如何利用爬虫来实现如下的需求,需要爬取的网页如下(网址为:https://www.wikidata.org/w/in ...
python爬虫资源路径报错_python爬虫
一.网络爬虫介绍网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成. 例如,百度.google搜索某关键字时,就是爬取整个互联网上的相关资源,给呈现出来. 实际爬 ...
python爬虫源码怎么使用_Python爬虫具体应该怎么使用？
1.首先,什么时候我们需要爬虫呢? 当我们需要某网站上的海量数据的时候,会发现,如果人工去把几百页,每页几十条到几百条的数据一条一条地复制下来,就太费时费力了,甚至根本就不可能.但是你做研究却需要这样 ...

python爬虫需要调用什么模块_python爬虫需要调用什么模块

python爬虫需要调用什么模块_python爬虫需要调用什么模块相关推荐

最新文章

热门文章