python网络爬虫的基本步骤-Python网络爬虫与信息提取（一）（入门篇）

#没有谁天生喜欢学习，只是不愿输#

（初学爬虫，会持续更新）

①爬取工具：MySQL数据库

Navicat for mysql

编程语言python3

集成开发环境pycharm(community)

Python包管理器Anaconda3

②基本知识：（1）request库：

requests库的七个主要方法

requests.request() ==> 构造一个请求，支撑以下各方法的基础方法

requests.get() ==> 获取HTML网页的主要方法，对应于HTTP的GET

requests.head() ==> 获取HTML网页头信息的方法，对应于HTTP的HEAD

requests.post() ==> 向HTML网页提交POST请求的方法，对应于HTTP的POST

requests.put() ==> 向HTML网页提交PUT请求的方法，对应于HTTP的PUT

requests.patch() ==> 向HTML网页提交局部修改请求，对应于HTTP的PATCH

requests.delete() ==> 向HTML页面提交删除请求，对应于HTTP的DELETE

Requests库的两个重要对象分别是Response和Request

其中Response对象包含爬虫返回的全部信息

Response对象的属性

r.status_code ==> HTTP请求的返回状态，200表示连接成功，404表示连接失败

r.text ==> HTTP响应内容的字符串形式，即，url对应的页面内容

r.encoding ==> 从HTTP header中猜测的响应内容编码方式

r.apparent_encoding ==> 从内容中分析出的响应内容编码方式（备选编码方式)

r.content ==> HTTP响应内容的二进制形式

Response的编码

Requests库的异常

requests.ConnectionError ==> 网络连接错误异常，如DNS查询失败、拒绝连接等

requests.HTTPError ==> HTTP错误异常

requests.URLRequired ==> URL缺失异常

requests.TooManyRedirects ==> 超过最大重定向次数，产生重定向异常

requests.ConnectTimeout ==> 连接远程服务器超时异常

requests.Timeout ==> 请求URL超时，产生超时异常

爬取网页的通用代码框架

importrequestsdefgetHTMLText(url):try:

r=requests.get(url,timeout=30)

r.raise_for_status() #如果状态不是200，引发HTTPError异常

r.encoding=r.apparent_encodinngreturnr.textexcept:return "产生异常"

if _name_ == "_main_":

url="http://www.baidu.com"

print(getHTMLText(url))

Requests函数包括十三个访问控制参数

requests.request(method,url,**kwargs)

**kwargs: 控制访问的参数，均为可选项

①params: 字典或字节序列，作为参数增加到url中

>>>kv={'key1':'value1','key2':'value2'}>>>r=requests.request('GET','http://python123.io/ws',params=kv)>>>print(r,url)

http://python123.io/ws?key1=value1&key2=value2

②data: 字典、字节序列或文件对象，作为Request的内容

>>>kv=('key1':'value1','key2':'value2')>>>r=requests.request('POST','http://python123.io/ws',data=kv)>>>body='主体内容'

>>>r=requests.request('POST','http://python123.io/ws',data=body)

③json: JSON格式的数据，作为Request的内容

>>>kv={'key1':'value1'}>>>r=requests.request('POST','http://python123.io/ws',json=kv)

④headers: 字典，HTTP定制头

>>>hd={'user-agent';'Chrome/10'}>>>r=requests.request('POST','http://python123.io/ws',headers=hd)

⑤cookies（是request库的高级功能）: 字典或Cookie.Jar , Request中的cookie

⑥auth（是request库的高级功能）: 元组，支持HTTP认证功能

⑦files: 字典类型，传输文件

>>>fs={'file': open('data.xls','rb')}>>>r=requests.request('POST','http://python123.io/ws',files=fs)

⑧timeout: 设定超时时间，秒为单位

>>>r=requests.request('GET','http://www.baidu.com',timeout=10)

⑨proxies: 字典类型，设定访问代理服务器，可以增加登录认证

>>>pxs={'http':'http://user:pass@10.10.1:1234'

'https':'https://10.10.10.1:4321'}>>>r=requests.request('GET','http://www.baidu.com',proxies=pxs)

⑩allow_redirects: True/False,默认为True,重定向开关

⑪stream: True/False,默认为True,获取内容立即下载开关

⑫verify: True/False,默认为True,认证SSL证书开关

⑬cert: 本地SSL证书路径

Requests库网络爬取简单实例

①百度360搜索关键词提交：

搜索引擎关键词提交接口：

百度搜索全代码：

importrequests

keyword="Python"

try:

kv={'wd':keyword}

r=requests.get("http://www.baidu.com/s" , params=kv)print(r.request.url)

r.raise_for_status()print(len(r.text))except:print("爬取失败")

360搜索全代码：

importrequests

keyword="Python"

try:

kv={'q':keyword}

r=requests.get(kv)print(r.request.url)

r.raise_for_status()print(len(r.text))except:print("爬取失败")

②网络图片的爬取和存储：

网络图片链接的格式：

图片爬取全代码：

importrequestsimportos

url="http://image.ngchina.com.cn/2019/0707/20190707123014213.jpg"root="D://pictures//"path=root+url.split('/')[-1]try:if notos.path.exists(root):

os.mkdir(root)if notos.path.exists(path):

r=requests.get(url)

with open(path,'wb') as f:

f.write(r.content)

f.close()print("文件保存成功")else:print("文件已存在")except:print("爬取失败")

③IP地址归属地的自动查询：

IP地址查询的全代码：

importrequests

url="http://m.ip138.com/ip.asp?ip="

try:

r=requests.get(url+'202.204.80.112')

r.raise_for_status()

r.encoding=r.apparent_encodingprint(r.text[-500:])except:print("爬取失败")

④添加headers:

和前面我们将urllib模块的时候一样，我们同样可以定制headers的信息，如当我们直接通过requests请求知乎网站的时候，默认是无法访问的,会得到如下错误：

因为访问知乎需要头部信息，这个时候我们在谷歌浏览器里输入chrome://version,就可以看到用户代理，将用户代理添加到头部信息

importrequests

headers={"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}

response=requests.get("https://www.zhihu.com",headers=headers)print(response.text)

python网络爬虫的基本步骤-Python网络爬虫与信息提取（一）（入门篇）相关推荐

python网络爬虫的基本步骤-python爬虫入门需要哪些基础/python 网络爬虫教程
如何入门 Python 爬虫入门个吊,放弃 python爬虫入门需要哪些基础现在之所以有多的小伙伴热衷于爬虫技术,无外乎是因为爬我们做很多事情,比如搜索引擎.采集数据.广告过滤等,以Python为 ...
python网络爬虫的基本步骤-Python网络爬虫学习手记（1）——爬虫基础
1.爬虫基本概念网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.--------百度百科简单的说,爬 ...
python图像分析_python分析问题步骤Python比较两个图片相似度的方法
本文实例讲述了Python比较两个图片相似度的方法.分享给大家供大家参考.具体分析如下: 这段代码实用pil模块比较两个图片的相似度,根据实际实用,代码虽短但效果不错,还是非常靠谱的,前提是图片要大一 ...
python中国大学排名爬虫写明详细步骤-python网络爬虫入门实例：中国大学排名定向爬虫...
中国大学排名定向爬虫的设计和实现一.环境安装: 1.选择一个适合自己的IDE(以下代码用Jupyter Notebook编写) 2.打开cmd,安装requests库和beautifulsoup4 ...
python中国大学排名爬虫写明详细步骤-python中国大学排名爬虫
python 中国大学排名爬虫首先,给一个最好大学网URL:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html, 点击这里进入 . 功能描述 ...
python中国大学排名爬虫写明详细步骤-Python爬虫——定向爬取“中国大学排名网”...
内容整理自中国大学MOOC--北京理工大学-蒿天-Python网络爬虫与信息提取相关实战章节我们预爬取的url如下网页节选在浏览器中读取网页源代码可以发现表格数据信息是直接写入HTML页面 ...
用python爬虫的基本步骤-Python爬虫入门：爬虫基础了解
1.什么是爬虫爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来.想抓取什么?这个由你来控制它咯. ...
python中国大学排名爬虫写明详细步骤-Python爬虫--2019大学排名数据抓取
Python爬虫--2019大学排名数据抓取准备工作输入:大学排名URL连接输出:大学排名信息屏幕输出所需要用到的库:requests,bs4 思路获取网页信息提取网页中的内容并放到数据结 ...
python中国大学排名爬虫写明详细步骤-Python之爬虫-中国大学排名
#!/usr/bin/env python # coding: utf-8 import bs4 import requests from bs4 import BeautifulSoup # 通过传 ...

python网络爬虫的基本步骤-Python网络爬虫与信息提取（一）（入门篇）

python网络爬虫的基本步骤-Python网络爬虫与信息提取（一）（入门篇）相关推荐

最新文章

热门文章