携程机票搜索页面

涉及内容：

1、request模拟请求

2、json解析

目标：

爬取某航线上所有航班价格信息

核心思想：

通过页面上请求数据的API接口，模拟前端请求，获取json数据并将其解析。

Step0. 寻找一个合适的方法

进入携程机票的搜索界面，随便搜索一条航线，跳转后你会发现网址一栏变成了：http://flights.ctrip.com/booking/TAO-SJW-day-1.html?DDate1=2017-10-17

很明显，你搜索的航线是TAO青岛到SJW石家庄，起飞时间2017-10-17，整理一下url的规则就是：http://flights.ctrip.com/booking/--day-1.html?DDate1=

拍脑袋想出来的方法一：直接通过页面url获取html代码，然后对html进行解析，获取到所需元素。

-> 要用xpath一层层分析网页元素，一层层解析下去，好麻烦啊！

-> 机票价格是Ajax异步请求！页面html源码中没有这部分数据的！就算你有耐心用Xpath定位，也找不到哇！

拍脑袋想出来的方法二：利用selenium框架，通过webdriver操纵浏览器完成爬取

-> 可以解决方法一中动态页面获取不到源码的问题，用xpath可以定位到元素了。

-> 可是，要是想看每个航班下所有票价信息的话，还需要点N次“订票”按钮，好麻烦呀！

-> 我用selenium尝试了一下，发现如果这个航线下的航班很多，滚动条不往下拉是不会把后面的航班加载出来的呀！这可咋整呀我无法预判这条航线下有多少航班呀。每条航线都拖动滚动条3次？5次？10次？太傻了！

……出于以上种种原因

可以用的方法三：我选择直接利用ajax请求接口，模拟请求，获取json数据

Step1. 找到API的地址

打开Chrome浏览器的开发者模式，然后重新搜索一条航线。

开发者模式 -> Networks -> XHR里面有一个耗时格外长的请求！

估计就是你了！点开看一下Query String，嗯是航线信息，的确就是这个请求。获取这个请求的地址，也就是Request URL。

把Request URL后面这一大串复制出来，整理一下：

request_url = 'http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?' \

+ 'DCity1=' + dcity \ # 起飞城市三字码

+ '&ACity1=' + acity \ # 降落城市三字码

+ '&SearchType=S' \

+ '&DDate1=' + ddate \ # 起飞日期

+ '&IsNearAirportRecommond=0' \

+ '&LogToken=8428f186c3504a6ea71158b344a502f5' \

+ '&rk=0.1311117634227288233503' \

+ '&CK=05F016D386A1975EFCF0F1240BA33457' \

+ '&r=0.37113914798207880745716'

request_url后面有奇奇怪怪的四个字段，LogToken，rk，CK和r，但是我在页面源代码中只找到了rk的定义，没有找到另外两个值的来源。尝试了一下发现没有后面四个字段，也是可以可以获取到json数据的，因此直接忽略。

源码中找到的rk定义：&rk=' + Math.random()*10+'223600','0.31100000101726617620017');

Step2. 模拟请求

在Chrome中的Request Headers可以看到这个请求头有以下信息：

一般情况下模拟请求头首先要做的就是设置用户代理：

ctrip_header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36'}

有了用户代理之后，我们尝试模拟请求：

# coding:utf-8

import urllib2

ctrip_header = {'User-Agent':

'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36'}

def search_flight(dcity, acity, ddate):

request_url = 'http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?' \

+ 'DCity1=' + dcity \

+ '&ACity1=' + acity \

+ '&SearchType=S' \

+ '&DDate1=' + ddate

request = urllib2.Request(request_url, headers=ctrip_header)

response = urllib2.urlopen(request)

return_json = response.read()

print return_json

if __name__ == '__main__':

search_flight('TAO', 'SJW', '2017-10-17')

运行结果：

发现返回的json当中并没有想要的数据，这可能是我们请求的过程中缺少了某些信息导致的。

查看Request Headers中，除了User-Agent以外还有很多其他的字段，尝试将这些字段加入ctrip_header

# coding:utf-8

import urllib2

ctrip_header = {'User-Agent':

'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36',

'Host': 'flights.ctrip.com',

'Referer': 'http://flights.ctrip.com/booking/TAO-SJW-day-1.html?DDate1=2017-10-16'}

def search_flight(dcity, acity, ddate):

request_url = 'http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?' \

+ 'DCity1=' + dcity \

+ '&ACity1=' + acity \

+ '&SearchType=S' \

+ '&DDate1=' + ddate

request = urllib2.Request(request_url, headers=ctrip_header)

response = urllib2.urlopen(request)

return_json = response.read()

print return_json

if __name__ == '__main__':

search_flight('TAO', 'SJW', '2017-10-17')

运行结果：

成功了！我本以为需要有Cookies才能请求成功的！

还好不需要Cookies！我还不太会获取Cookies，如果一定需要的话，我只能从Chrome里强行复制一波……(捂脸逃，顺便求Cookies伪造的教学)

Step3. 解析json数据

首先我们需要将刚刚请求到json数据转换为可读的格式，可以用json.loads()这个函数将json字符串转换为可读的字典。即：

return_data = json.loads(return_json, encoding='gbk')

注意前面运行结果可以看出，字符串存在显示不出来的情况，这是因为我使用的python2.7存在编码问题，需要进行编码转换，即encoding='gbk'

找到所需数据：

我们需要什么数据呢？

所有的航班号，及每个航班号下对应的所有价格。

刚刚我们看的是Headers里的信息，现在切到Preview里。Preview里的信息是格式化的返回json，在这里我们可以很清晰的找到我们需要的数据。

可以看到，fis是一个航班列表，每个都是一个json，包含航班信息，航班价格信息等等等

那么我们只需要提取fis列表中的一些有用的value值就好了。

flight_list = return_data['fis'] # 下挖到航班列表的结点

flight_nums = len(flight_list) # 航班数

for i in range(flight_nums):

airline = flight_list[i]['alc'] # 航空公司

flight_no = flight_list[i]['fn'] # 航班号

price_list = [each['p'] for each in flight_list[i]['scs'] if each['hotel'] is None] # 非飞宿产品价格

运行结果:

完整代码：

# coding:utf-8

import urllib2

import json

ctrip_header = {'User-Agent':

'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36',

'Host': 'flights.ctrip.com',

'Referer': 'http://flights.ctrip.com/booking/TAO-SJW-day-1.html?DDate1=2017-10-16'}

def search_flight(dcity, acity, ddate):

request_url = 'http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?' \

+ 'DCity1=' + dcity \

+ '&ACity1=' + acity \

+ '&SearchType=S' \

+ '&DDate1=' + ddate

request = urllib2.Request(request_url, headers=ctrip_header)

response = urllib2.urlopen(request)

return_json = response.read()

# print return_json

return_data = json.loads(return_json, encoding='gbk')

flight_list = return_data['fis']

# print flight_list

flight_nums = len(flight_list)

print '共有航班:', flight_nums, '趟'

for i in range(flight_nums):

airline = flight_list[i]['alc'] # 航空公司

flight_no = flight_list[i]['fn'] # 航班号

print '携程', airline, flight_no,

price_list = [each['p'] for each in flight_list[i]['scs'] if each['hotel'] is None] # 非飞宿产品价格

print price_list

if __name__ == '__main__':

search_flight('TAO', 'SJW', '2017-10-17')

注：代码十分不规范，完全没写异常处理。近期我会努力纠正自己的习惯！