python电商爬虫源码_吴裕雄--天生自然PYTHON爬虫：爬取某一大型电商网站的商品数据...

由于这里的目标是获取整个自由行的产品列表，因此还需要获取出发站点的列表，从不同的城市出发，会有不用的产品。

返回自由行的首页，单击搜索框左侧的出发站点，如下图：

切换到Headers界面：

可以看到此时目标的URL是：https://touch.dujia.qunar.com/depCities.qunar

开始分析该网站的爬虫工作流程分析步骤：

1 获取出发地站点列表

2 获取旅游景点列表

3 获取景点产品列表

4 存储数据

#首先获取出发站点，代码如下：

importrequests

url= 'https://touch.dujia.qunar.com/depCities.qunar'strhtml=requests.get(url)

dep_dict=strhtml.json()for dep_item in dep_dict['data']:for dep in dep_dict['data'][dep_item]:print(dep)

。。。。。。。。。

在获取数据的时候需要将最后一个callback参数删掉。因此目标URL如下：

https://touch.dujia.qunar.com/golfz/sight/arriveRecommend?dep=%E6%B7%B1%E5%9C%B3&exclude=&extensionImg=255,175

#然后根据出发地站点获取目的地，代码如下：

importtimeimporturllibimportrequests

url= 'https://touch.dujia.qunar.com/depCities.qunar'strhtml=requests.get(url)

dep_dict=strhtml.json()for dep_item in dep_dict['data']:for dep in dep_dict['data'][dep_item]:print(dep)

url= 'https://touch.dujia.qunar.com/golfz/sight/arriveRecommend?dep={}&exclude=&extensionImg=255,175'.format(urllib.request.quote(dep))

time.sleep(3)

strhtml=requests.get(url)

arrive_dict=strhtml.json()for arr_item in arrive_dict['data']:for arr_item_1 in arr_item['subModules']:for query in arr_item_1['items']:print(query['query'])

.................

到达的目的地有很多，上面这段代码也要运行很长时间，运行截图也是一部分的，篇幅有限还有很多地点没有展示，但很容易看到许多的目的地是重复的，

原因也很简单一个目的地多数都是对应这多个出发点的，按出发点分别来找目的地的话最后打印寻找到的目的地肯定有许多也就是重复的了，所以接下来

就是要对目的地进行去重，代码修改后，如下：

#然后根据出发地站点获取目的地，代码如下：

importtimeimporturllibimportrequests

url= 'https://touch.dujia.qunar.com/depCities.qunar'strhtml=requests.get(url)

dep_dict=strhtml.json()for dep_item in dep_dict['data']:for dep in dep_dict['data'][dep_item]:#这里声明一个列表a用来保存当前这个出发点对应的所有目的地

a =[]print(dep)

url= 'https://touch.dujia.qunar.com/golfz/sight/arriveRecommend?dep={}&exclude=&extensionImg=255,175'.format(urllib.request.quote(dep))

time.sleep(3)

strhtml=requests.get(url)

arrive_dict=strhtml.json()for arr_item in arrive_dict['data']:for arr_item_1 in arr_item['subModules']:for query in arr_item_1['items']:#如果当前这个目的地不在a中的话，那就添加进去，否则不添加，这样就可以达到目的地去重的目的了

if(query['query'] not ina):

a.append(query['query'])#打印当前出发点所有对应的不重复的目的地点

print(a)

这样每个出发点对应的目的点打印出来也好看清晰了许多。

完成了出发点和目的地的构建之后，接下来就要获取产品列表了。代码如下：

#获取产品列表

importtimeimporturllibimportpymongoimportrequests#使用MongoDB创建数据库、表

client = pymongo.MongoClient('localhost',27017)

book_qunar= client['qunar']

sheet_qunar_zyx= book_qunar['qunar_zyx']#获取产品

url = 'https://touch.dujia.qunar.com/depCities.qunar'strhtml=requests.get(url)

dep_dict=strhtml.json()for dep_item in dep_dict['data']:for dep in dep_dict['data'][dep_item]:#这里声明一个列表a用来保存当前这个出发点对应的所有目的地

a =[]

url= 'https://touch.dujia.qunar.com/golfz/sight/arriveRecommend?dep={}&exclude=&extensionImg=255,175'.format(urllib.request.quote(dep))

time.sleep(3)

strhtml=requests.get(url)

if(query['query'] not ina):

a.append(query['query'])#逐个地取出当前出发点对应的目的地item

for item ina:

url= 'https://touch.dujia.qunar.com/list?modules=list%2CbookingInfo%2CactivityDetail&dep={}&query={}&dappDealTrace=true&mobFunction=%E6%89%A9%E5%B1%95%E8%87%AA%E7%94%B1%E8%A1%8C&cfrom=zyx&it=dujia_hy_destination&date=&needNoResult=true&originalquery={}&limit=0,24&includeAD=true&qsact=search'.format(urllib.request.quote(dep),urllib.request.quote(item),urllib.request.quote(item))

time.sleep(3)

strhtml=requests.get(url)#获取当前目的地的产品数量

routeCount = int(strhtml.json()['data']['limit']['routeCount'])for limit in range(0,routeCount,24):

url= 'https://touch.dujia.qunar.com/list?modules=list%2CbookingInfo%2CactivityDetail&dep={}&query={}&dappDealTrace=true&mobFunction=%E6%89%A9%E5%B1%95%E8%87%AA%E7%94%B1%E8%A1%8C&cfrom=zyx&it=dujia_hy_destination&date=&needNoResult=true&originalquery={}&limit={},24&includeAD=true&qsact=search'.format(urllib.request.quote(dep),urllib.request.quote(item),urllib.request.quote(item),limit)

time.sleep(3)

strhtml=requests.get(url)#用一个字典保存当前这个产品的信息

result ={'date':time.strftime('%Y-%m-%d',time.localtime(time.time())),'dep':dep,'arrive':item,'limit':limit,'result':strhtml.json()

}#向数据库中插入这条产品信息记录

sheet_qunar_zyx.insert_one(result)print('成功！')

爬取的数据量是非常大的代码需要运行非常长的时间，运行代码打开pycharm就可以观察到保存的数据了（前提是pycharm已经安装好了mongo的插件了以及本地安装配置好mongodb了）

python电商爬虫源码_吴裕雄--天生自然PYTHON爬虫：爬取某一大型电商网站的商品数据...相关推荐

mysql 查询系统字段自然日_吴裕雄--天生自然python数据清洗与数据可视化：MYSQL、MongoDB数据库连接与查询、爬取天猫连衣裙数据保存到MongoDB...
本博文使用的数据库是MySQL和MongoDB数据库.安装MySQL可以参照我的这篇博文:https://www.cnblogs.com/tszr/p/12112777.html 其中操作Mysql使 ...
python预测疾病_吴裕雄--天生自然python机器学习：使用Logistic回归从疝气病症预测病马的死亡率...
,除了部分指标主观和难以测量外,该数据还存在一个问题,数据集中有 30%的值是缺失的.下面将首先介绍如何处理数据集中的数据缺失问题,然后再利用 Logistic回归和随机梯度上升算法来预测 ...
java用爬虫爬一个页面_使用Java写一个简单爬虫爬取单页面
使用Java爬虫爬取人民日报公众号页面图片使用Java框架Jsoup和HttpClient实现,先看代码爬取目标页面 1.使用Maven构建一个普通Java工程加入依赖: org.jsoup j ...
python量化选股策略源码_【一点资讯】Python实现行业轮动量化选股【附完整源码】...
1.背景大量研究表明,A股行业有明显的轮动现象,并且与A股相反,行业指数通常呈现动量特征,即前期涨幅高的行业,会延续上涨的趋势,比前期涨幅低的行业有明显超额收益. 此外,也有大量研究表明,A股市场存 ...
吴裕雄--天生自然物理学习与探索笔记：电功、电路以及欧姆定律
转载于:https://www.cnblogs.com/tszr/p/11201865.html
吴裕雄--天生自然 PYTHON3开发学习：输入和输出
str = input("请输入:"); print ("你输入的内容是: ", str) # 打开一个文件 f = open("/tmp/foo.t ...
吴裕雄--天生自然 PYTHON3开发学习：字符串
var1 = 'Hello World!' var2 = "Runoob" #!/usr/bin/python3 var1 = 'Hello World!' var2 = &quo ...
吴裕雄--天生自然诗经：长恨歌
长恨歌[作者]白居易 [朝代]唐汉皇重色思倾国,御宇多年求不得.杨家有女初长成,养在深闺人未识.天生丽质难自弃,一朝选在君王侧.回眸一笑百媚生,六宫粉黛无颜色.春寒赐浴华清池,温泉水滑洗凝脂.侍儿扶起 ...
吴裕雄--天生自然 Tensorflow卷积神经网络：花朵图片识别
import os import numpy as np import matplotlib.pyplot as plt from PIL import Image, ImageChops from ...

python电商爬虫源码_吴裕雄--天生自然PYTHON爬虫：爬取某一大型电商网站的商品数据...

python电商爬虫源码_吴裕雄--天生自然PYTHON爬虫：爬取某一大型电商网站的商品数据...相关推荐

最新文章

热门文章