使用pyspider框架抓取猫途鹰旅游信息
这里通过pyspider框架
可以直接:pip3 install pyspider 下载框架
pyspider all 运行 可以看到 run 0.0.0.0:5000
直接在浏览器输入localhost:5000 进入 创建新项目
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2018-08-03 09:59:05
# Project: TripAdcisorfrom pyspider.libs.base_handler import *
#import ssl
import pymongo#ssl._create_default_https_context=ssl._create_unverified_contextclass Handler(BaseHandler):crawl_config = {}conn = pymongo.MongoClient('localhost')db = conn.tripmyset = db.london@every(minutes=24 * 60)
#on_start 启动目标主网站,validate_cert = False跳过证书检测,callback回调函数def on_start(self):self.crawl('https://www.tripadvisor.cn/Attractions-g186338-Activities-c47-London_England.html', callback=self.index_page,validate_cert = False)@config(age=10 * 24 * 60 * 60)
#通过内置pyquery 获取目标网页的连接遍历 分别访问,并回调def index_page(self, response):for each in response.doc('.listing_title > a').items():self.crawl(each.attr.href, callback=self.detail_page,validate_cert = False)
#获取下一页链接地址访问并回调自身next = response.doc('#FILTERED_LIST > div.al_border.deckTools.btm > div > div > a').attr.hrefprint(next)self.crawl(next,callback= self.index_page,validate_cert=False)@config(priority=2)
#获得每个链接的的详细信息返回def detail_page(self, response):url = response.urlname = response.doc('.heading_title').text()rating = response.doc('div.rating > .more').text()location = response.doc('#taplc_attraction_detail_listing_0 > div.section.location > div.detail_section.address').text()[2:]phone = response.doc('.phone > div').text()durtion = response.doc('.hours > .duration').text()return {'name':name,'rating':rating,'location':location,'phone':phone,'durtion':durtion,'url':url}
#重写on_result方法 保存至数据库def on_result(self,result):if result:self.save_to_mongo(result)def save_to_mongo(self,result):if self.myset.insert(result):print('save ok!',result)
运行时将status 调至running 或者debug run即可
使用pyspider框架抓取猫途鹰旅游信息相关推荐
- python scrapy框架 抓取的图片路径打不开图片_Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码...
大家可以在Github上clone全部源码. 基本上按照文档的流程走一遍就基本会用了. Step1: 在开始爬取之前,必须创建一个新的Scrapy项目. 进入打算存储代码的目录中,运行下列命令: sc ...
- 使用scrapy框架抓取手机商品信息(2)
目录 1.模块设计 2.手机页面代码编写 2.1数据获取 2.2主页面编写 3.功能编写 3.1通过人民查询 3.2清空选项和查询函数 3.3列表相关功能定义 4.最终成功展示和总结 上一篇:使用sc ...
- 使用scrapy框架抓取手机商品信息(1)
目录 1.准备工作 1.1 启动pycharm 1.2 setting.py 配置 1.3爬取页面分析 2.代码编写 2.1 爬虫代码 2.2 piplines.py代码编写 3 运行及收尾 追加 1 ...
- Python爬虫实战之二 - 基于Scrapy框架抓取Boss直聘的招聘信息
Python爬虫实战之三 - 基于Scrapy框架抓取Boss直聘的招聘信息 ---------------readme--------------- 简介:本人产品汪一枚,Python自学数月,对于 ...
- 猫途鹰公布2023年全球十大最佳旅行体验和十大顶级景点 | 美通社头条
美通社消息,旅游指南平台猫途鹰(Tripadvisor)公布2023年旅行者之选:最佳"必做之事". 随着夏季旅游的全面展开,这些是猫途鹰评论家们最喜欢的来自世界各地的活动,为希望 ...
- Python 抓取微信公众号账号信息
搜狗微信搜索提供两种类型的关键词搜索,一种是搜索公众号文章内容,另一种是直接搜索微信公众号.通过微信公众号搜索可以获取公众号的基本信息及最近发布的10条文章,今天来抓取一下微信公众号的账号信息 爬虫 ...
- python简答题及答案查询公众号和软件_Python 抓取微信公众号账号信息的方法
搜狗微信搜索提供两种类型的关键词搜索,一种是搜索公众号文章内容,另一种是直接搜索微信公众号.通过微信公众号搜索可以获取公众号的基本信息及最近发布的10条文章,今天来抓取一下微信公众号的账号信息 爬虫 ...
- Python项目实战:抓取微信公众号账号信息
搜狗微信搜索提供两种类型的关键词搜索,一种是搜索公众号文章内容,另一种是直接搜索微信公众号.通过微信公众号搜索可以获取公众号的基本信息及最近发布的10条文章,今天来抓取一下微信公众号的账号信息( 爬虫 ...
- 抖音短视频数据抓取实战系列(三)——Fiddler抓取抖音用户详细信息数据
抖音短视频数据抓取实战系列(三)--Fiddler抓取抖音用户详细信息数据 项目目录 1.抖音短视频数据抓取实战系列(〇)--前言 2.抖音短视频数据抓取实战系列(一)--模拟器的选择与设置 3.抖音 ...
- python爬取boss直聘招聘信息_Python爬虫实战-抓取boss直聘招聘信息
Python Python开发 Python语言 Python爬虫实战-抓取boss直聘招聘信息 实战内容:爬取boss直聘的岗位信息,存储在数据库,最后通过可视化展示出来 PS注意:很多人学Pyth ...
最新文章
- 提高云计算中的软件质量
- 感谢武汉晚报的采访报道:清华硕士回襄阳老家当“威客” 两年赚30万元
- ClassLoader工作机制
- linux下oracle数据库升级,Oracle数据库在LinuxAS4升级
- 一个弹窗口的流氓软件
- python对字典的基本操作(遍历、排序)总结,Python字典操作简明总结
- python线程同步锁_[python] 线程间同步之Lock RLock
- 在php里面找出有用的代码,如何在多个源代码文件中 找到某段代码?
- 混乱的Comcast
- 蜗轮蜗杆计算软件_微型直流电机减速比计算方法
- 使用DirectShow.NET获取摄像头视频流
- nacos connect timed out executing XXX
- 消除transition闪屏
- Office Word 2016 中Word自带公式编辑器编辑的公式转Mathtype出现omml2mml.xsl 问题的解决方法
- 腾讯云发布php项目,利用腾讯云服务器进行微校开放平台开发
- 重庆java培训机构排名榜
- 关于多线程中的面试题
- C#网络爬虫抓取小说
- ArcGIS地质图矢量化技巧概要
- S32K1XX调试--irda红外通信