编译环境：python v3.5.0, mac osx 10.11.4

第三方库：针对网页解析，python有丰富的第三方库如:

BeautifulSoup, urllib, requests etc.

可以通过import来引入指定第三方库，通过from lib import function导入第三方库中的指定函数。如：

import requests, urllib.request, time, os from bs4 import BeautifulSoup # 导入需要用到的第三方库

对网页进行解析：BeautifulSoup & url lib

url = 'https://www.ncbi.nlm.nih.gov/core/alerts/alerts.js_=1462105646975' wb_dt=requests.get(url) soup=BeautifulSoup(wb_dt.text,'lxml')

上述代码可以解析指定url中的HTML, 通过requests中的get方式获得。

wb_dt.text可以获得HTML的纯文本文件。

BeautifulSoup(wb_dt.text,'lxml')则能对传入的纯文本文件采用lxml库进行解析。

筛选需要的信息：soup.select('selector')

可以通过chrome浏览器中的检查查询指定元素的位置，复制selector到

soup.select('selector')

这一步骤主要是为了筛选所选元素特殊的位置，selector只要能指定到所需信息的位置即可。

动态网页解析

当我们需要爬取动态网页大量页面信息时，我们可以从不断response为HTML的headers中找寻规律。如图所示，我们发现其连续加载其实是在返回时不断通过request中url的改变生成。

实战源代码 1 爬取霉霉照片

其中导入的os模块可以判断目录是否存在以及新建目录。

os.makedir(path)与os.makedirs(path)的区别在于若父级目录不存在，则os.makedir(path)会报错，而os.makedirs(path)则会连同父级目录一起创建

os.path.exists(path)则可以检查目录是否存在

总结 1

1、第三方库可以良好的解析我们需要爬取的网页

2、通过刷新发现，观察response可以发现request规律，从而抓取静态网页

3、针对具有反爬虫的网页，可以利用time库中的

time.sleep(seconds)来降低访问频率。加入header和proxies也可以防止针对ip的反爬取。

4、常用user agent https://blog.phpgao.com/user_agent_collection.html

实战源代码 2 爬取一页商品数据(初识API)

**筛选出选定区域的字符串.strings **

去除字符串中的大片空格区域.stripped_strings

整体代码

####总结 2

观察推广和转转href与正常商品信息之间的差别，可以通过

soup.select('a[href^="http://bj.58.com/"]')

发现返回值不对时，值可能由js，node.js等生成

打印soup 搜索变量名再从network文件凭经验中找寻

主要看response返回的值为文本的文件

确定目标后看url和headers，遇到反爬将cookies等全部写入headers中逐个尝试，此次实践，request中需要加referee

此次找寻流程：

从按前面提到的方法，网页中检查浏览量。

发现soup返回值不对，查询soup值发现所含值为0。

推测其值可能由js或者node.js控制，重新加载页面查询network中的js文件，查看返回值为文本的文件。

找到目标文件后，查看其headers。

根据headers编译探索request请求(针对反爬)

All source code can be downloaded at GitHub:

https://github.com/jacobkam/WebCrawlerLearning.git