Reference:

第一周 网络爬虫之规则

单元1：Requests库入门

1-1 Requests库的安装

1-2 Requests库的get()方法

1-3 爬取网页的通用代码框架

1-4 HTTP协议与Requests库方法

注意：put与post的区别

1-5 Requests库主要方法解析

Requests库的7个主要方法

(一). requests库的request方法是所有方法的基础方法，它有三个参数，分别是：

method，url和控制访问参数----> requests.request(method,url,**kwargs)

method表示请求方式，对应get/put/post等7种

url指拟获取页面的url链接

**kwargs控制访问参数，共13个，均为可选项

(1)params

(2)data

(3)json

(4)headers

(5)cookies

(6)auth

(7)files

(8)timeout

(9)proxies

(10)allow_redirects

(11)stream

(12)verify

(13)cert单元2：网络爬虫的“盗亦有道”

2-1 网络爬虫引发的问题

网络爬虫的尺寸

网络爬虫的“骚扰”(对服务器性能的骚扰)

服务器默认是按照人数来约定它的访问能力，但当有爬虫加入的时候，服务器可能很难提供那么高的性能。

网络爬虫的法律风险(内容层面)

服务器上的数据有产权归属，网络爬虫获取数据后牟利将带来法律风险。

网络爬虫的泄露隐私(个人隐私泄露)

网络爬虫可能具备突破简单访问控制的能力，获得被保护数据从而泄露个人隐私。

对于一般的服务器来说，可以用两种方式限制网络爬虫：

(1)如果网站的所有者具有一定的技术能力，可以通过来源审查来限制网络爬虫。

来源审查：判断User-Agent进行限制

检查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问。

(2)发布公告：Robots协议

告知所有爬虫 网站的爬取策略，要求爬虫遵守。

2-2 Robots协议=Robots Exclusion Standard 网络爬虫排除标准

作用：网站告知网络爬虫哪些页面可以抓取，哪些不行。

形式：在网站根目录下的robots.txt文件。通过基本语法告知网络爬虫，该网站内部资源可以被访问的权限。

规定：robots协议规定，如果一个网站不提供robots.txt文件，则说明这个网站允许所有爬虫无限制的爬取其内容。

Robots协议基本语法：

User-agent：*

Disallow：/

注释:   * 代表所有，/  代表根目录

案例：京东的Robots协议

https://www.jd.com/robots.txt

http://www.baidu.com/robots.txt           百度

http://news.sina.com.cn/robots.txt        新浪新闻

http://www.qq.com/robots.txt                qq

http://news.qq.com.cn/robots.txt           qq新闻

http://www.moe.edu.cn/robots.txt(无robots协议)         我国教育部的网站

2-3 Robots协议的遵守方式

robots协议的使用

网络爬虫：自动或人工识别robots.txt，再进行内容爬取。

约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。

TIPS.类人行为可以不参考Robots协议

单元3：Requests库网络爬虫实战(5个实例)

3-1 实例1：京东商品页面的爬取

STEP1.打开京东页面，选取一款商品。比如：https://item.jd.com/4939144.html

通过写程序，获得该商品的相关信息。

STEP2.   全代码

3-2 实例2：亚马逊商品页面的爬取

对于一些保护的比较好的网站，通过模拟浏览器，发起请求。

3-3 实例3：百度/360搜索关键词提交

搜索引擎关键词提交接口：

百度的关键词接口:  http://www.baidu.com/s?wd=keyword

360的关键词接口：  http://www.so.com/s?q=keyword

在这两个接口中，只要我们替换keyword就可以向搜索引擎提交关键词，构造这样的url就可以实现关键词的提取。

3-4 实例4：网络图片的爬取和存储

网络图片的爬取

网络图片链接的格式：

http://www.example.com/picture.jpg

国家地理：http://www.nationalgeographic.com.cn/

选择一个图片Web页面：http://www.nationalgeographic.com.cn/photography/photo_of_the_day/4082.html   右键图片属性

http://image.nationalgeographic.com.cn/2017/0509/20170509021454807.jpg

3-5 实例5：IP地址归属地的自动查询

IP138网站 http://www.ip138.com/

http://m.ip138.com/ip.asp?ip=ipaddress  例如：202.204.80.112 北京理工大学网站