写爬虫之前，首先要明确爬取的数据。然后，思考从哪些地方可以获取这些数据。下面以一个实际案例来说明，怎么寻找一个好的爬虫策略。(代码仅供学习交流，切勿用作商业或其他有害行为)

1).方式一：直接爬取网站 目标网址：http://chanyouji.com/ 注意：这个网站会拦截IP，访问次数过多，IP会被封，所以，上节的IP代理就用到了。

a).打开网页，可以看到这是一个游记类的网站，里面有很多人分享的游记。那我们就爬这些游记。说不定以后有时间出去玩的时候可以用到。

b).点开其中一篇游记，可以看到链接地址形式是这样的　　http://chanyouji.com/trips/352140，这个时候，我们可以思考一下，352140这个数字代表的含义，会不　　会是这个游记在数据库的ID，如果是的话，换个数字会不会得到不一样的游记，那么我们试一下。访问　　http://chanyouji.com/trips/352141，可以看到，的确得到了不　　一样的游记。截图如下：

c).从网址上可以得出一个结论，我们可以通过枚举来请求到不同的数据。但是，这并不一定是可以按照上两节的方式来爬取。原因有很多。比如，有些数据是通过js渲染　　  的。对于有web开发基础的很好理解，但是对于没有做过web开发的同学解释一下。假设，我们要买一个房子，房子有很多种，我们分成两类，一类是毛坯房(就是没有装修　　  的)，一类是装修好的。对于毛坯房，我们要买家具，装修什么的，对于装修好的我们可以直接用。类比到这个例子中，http://chanyouji.com/trips/*****这个请求就买    　　一个房子，毛坯房就是说返回的是这个网站的壳子，需要另外在JS里面重新请求数据，填充到壳子里面。装修好的就是，数据什么的都填好了，一起给你。

d).那么我们该如何判断，这两类的结果呢。很简单。以火狐浏览器为例，F12打开调试窗口，找到网络->点击相应的请求，可以看到如下界面：

这个请求的所有的数据都会显示在这个里面，然后点开响应，会看到请求来的源代码(这个也是我们用爬虫发请求的结果)，如图所示

很庆幸，我们获取到的是精装房，可以直接利于上两节的知识来解析这个代码(这里就不赘述了)

e).如果是js渲染的怎么办呢？我没在这个网站上找到用js渲染的(这个网站的数据还是比较好爬，除了拦截IP之外，没有多少难度)，所以换个目标来解释。

2) 方式二：分析请求 目标网址：http://music.163.com/#/user/home?id=48353(丁磊的网易云音乐个人主页)开始分析方法和上一步一样，页面截图如下：

a).我们发现，http://music.163.com/user/home?id=48353 这个请求返回的值是不是少点什么，对的，就是少了歌单(如果多分析几个用户的页面，你会发现，年龄　　也是缺的)

b).我们继续寻找那个歌单的数据在哪里？

可以看到，http://music.163.com/weapi/user/playlist?csrf_token= 这个请求就是返回的歌单，我们只需要请求这个接口的时候，带上该有的参数，就能得到这个数据。返回的数据是json格式，可以拿过来直接用了，不用beautifulsoup解析。另外说一句，这个接口的参数是加密的，如下图，网上有破解的，但是不推荐破解，因为只要他们随便改下密钥或者加密方式，又要花很大时间来破解。对于这个接口，我们一般参与，分析js(网易云音乐的js也是混淆过的)或者调用浏览器来访问(这个效率比较低，但是个人来讲够用了)。

3)方式三：另辟蹊径——利用目标网址的APP。这里仍以 蝉游记 为例。APP的接口返回值一般都是JSON，比较好解析，除了网易云音乐(丁磊就该好好养猪)。核心就是拦截APP的请求。

a).在电脑上安装安卓模拟器(我用的是bluestacks,这个安装好像有点麻烦)

b).在模拟器中安装目标APP--蝉游记(除了这个方法之外，还可以用电脑开个热点，用手机连接这个热点，同样可以拦截)

c).安装http analyzer其他的也行，就是拦截http请求用的)，打开httpanalyzer

d).使用目标APP，这个时候就可以拦截到想要的请求，如图：

e).请求就是这样的，这里要注意，https和http的区别。遇到https的请求，我们先试下用http替换。很庆幸，这个网站可以这样做，如果不可以的话，比较麻烦，还要导　　入证书(暂且不讲)。我们把http://chanyouji.com/api/trips/352140.json (为了和方式一同步，把id改成了352140)发到浏览器中请求，结果如下(说明请求的时候不　　需要加任何参数)

f).这些数据比较多，很难看。怎么看好看一点呢，就是把它转化成标准的json数据，我一般用这个工具http://www.bejson.com/jsonviewernew/

把数据复制过去格式化一下就行了。如下图所示：

g).顺便说一句，python有json解析模块，可以用。

下面附上蝉游记的爬虫源码(仅供学习交流！仅供学习交流！仅供学习交流！)

importurllibimportjsonimportsocket

socket.setdefaulttimeout(10)

proxys=[]

proxys.append({"http":"http://124.251.62.246:80"})

proxys.append({"http":"http://117.78.34.32:80"})

proxys.append({"http":"http://59.108.61.132:808"})for id in range(0,5,1):try:

url= "http://chanyouji.com/api/trips/"+`(352140+id)`+".json"res= urllib.urlopen(url,proxies=proxys[id%3]).read()

res_json=json.loads(res)print res_json['name']exceptException,e:printecontinue

运行结果：

代码说明：

a).枚举可以用循环

b).res_json=json.loads(res) 就是把结果转化成json,特别注意，这个res必须要有和json格式一样(json相关资料，可自行查阅)。

c).proxys.append()就是往数组中添加元素

d).id%3就是id处于3取其余数，也就是说 id%3大于等于0，小于等于2。因为代理只有三个，数组是从零开始。

到此，简单的爬虫策略就讲完了。

备注：

a).所有内容仅供学习交流使用

b).如有错误，多多指教

c).转载请注明出处