1.requests库入门

requests的get( )方法

爬取百度网页实例：

import requests

r = requests.get("http://www.baidu.com")

print(r.status_code)

r.enconding = 'utf-8'

print(r.text)

爬取结果：

requests库的七个主要方法

requsets对象的属性

理解requests的编码

理解requests的异常

爬取网页的通用代码框架

import requests

def getHTMLText (url) :

try:

r = requests.get (url, timeout=30)

r.raise_for_status() # 如果状态不是200，引发HTTPError异常

r.encoding = r.apparent_encoding

return r.text

except:

return "产生异常"

if __name__ == "__main__"

url = "http://www.baidu.com"

print(getHTMLText(url))

理解put和pouch的区别

requests的head( )方法

requests的post( )方法

requests.request

requests.request(method, url, **kwargs)

method：请求方式

**kwargs：控制访问的参数，均为可选项

1)params：字典或字节序列，作为参数增加到url中

2)data：字典、字节序列或文件对象，作为Request的内容

3)json：JSON格式的数据，作为Request的内容

4)headers：字典，HTTP定制头

5)cookies：字典或CookieJar, Request中的cookie

6)auth：元组，支持HTTP认证功能

7)files：字典类型，传输文件

8)timeout：定超时时间，秒为单位

9)proxies：字典类型，设定访问代理服务器，可以增加登录认证

10)allow redirects：True/False, 默认为True,重定向开关

11)stream：True/False, 默认为True,获取内容立即下载开关

12)verify：True/False, 默认为True,认证SSL证书开关

13)cert：本地SSL证书路径

2.爬虫之“盗亦有道”

robots协议

一般放置于网站的根目录下，用于告知网络爬虫爬取网站的相应准则。

3.requests库网络爬虫实战

1)爬取京东商品

import requests

url = 'https://item.jd.com/100007958768.html'

try:

r= requests.get(url)

r.raise_for_status()

r.encoding = r.apparent_encoding

print(r.text[:1000])

except:

print('爬取错误')

爬取结果

2)亚马逊商品爬取

在实际测试中，我们发现r.status_code的返回值不为200，即爬取错误，此时我们查看一下request的头部信息：

我们可以看到，在’user_Agent’中，我们忠实的告诉亚马逊服务器，我们这次网络访问，是由网络爬虫进行的。

此时，我们可以构造一个键值对，用于修改头部信息：

kv = {'user_Agent':'Mozilla/5.0'}

然后再用get函数进行访问，同时对头部信息进行修改：

r = requests.get(url,headers = kv)

然后再进行r.status_code，可以发现返回值为200

以下为全代码：

import requests

url = 'https://www.amazon.cn/dp/B075R5LCFY/ref=lp_658809051_1_1?s=books&ie=UTF8&qid=1569419053&sr=1-1'

try:

kv = {'user_Agent':'Mozilla/5.0'}

r= requests.get(url,headers = kv)

r.raise_for_status()

r.encoding = r.apparent_encoding

print(r.text[1000:2000])

except:

print('爬取错误')

3)百度/360搜索关键词提交

已知搜索引擎关键字的提交接口：

百度搜索引擎关键字提交：

import requests

try:

url = 'http://www.baidu.com/s'

kv = {'wd':'冬月枫'}#冬月枫是我女神

r = requests.get(url,params = kv)

r.raise_for_status()

r.enconding = r.apparent_encoding

print(len(r.text))

except:

print('爬取失败')

360搜索引擎关键字提交：

import requests

try:

url = 'http://www.so.com/s'

kv = {'q':'相泽南'} #相泽南是我另一个女神

r = requests.get(url,params = kv)

r.raise_for_status()

r.enconding = r.apparent_encoding

print(len(r.text))

except:

print('爬取失败')

4)网络图片的爬取与存储

import requests

import os

url = 'https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/三上悠亚.jpg'

root = 'D://三上悠亚//'#三上悠亚是我老婆

path = root + url.split('/')[-1]#路径为根目录 + 图片名

try:

if not os.path.exists(root) :

os.mkdir (root)#判断根目录存不存在，不存在则创建

if not os.path.exists(path) :

r = requests.get(url)#判断path是否存在，不存在则get请求捕获url

with open(path,'wb') as f:

f.write(r.content)

f.close()#写入文件(图片为二进制格式)

print("文件保存成功")

except:

print("爬取失败")

爬取结果：

5)IP地址归属地的自动查询

import requests

try:

r = requests.get('http://m.ip138.com/ip.asp?ip=202.204.80.112')

r.raise_for_status()

r.encoding = r.apparent_encoding

print(r.text[-500:])

except:

print("爬取失败")

爬取结果：