作为资深宅男的我，自然对外面吃、玩的地方了解甚少 -_-! 。那么怎么才能选到好吃的地方呢，这个问题很严峻。既然学了计算机专业这么两年，我想，也许它能帮到我吧，于是乎…

下载八爪鱼

首先，我下载了一个上手快，门槛儿低的爬虫软件—八爪鱼。很简单，我用它来抓取达州附近所有的美食商铺，最后进行一个筛选，找个性价比高点儿的店铺，就达到我的目的了，O(∩_∩)O~~。

开启采集

打开八爪鱼采集器，选择高级模式–>开始采集：

在下一个页面写上任务名，分个组，打上备注，点击右上角下一步。我们从百度地图中来采集我们需要的店铺（百度地图： http://map.baidu.com/），然后你可以通过看视频或者教程的方式，设置如下工作流程：（我搜索的是达州美食）

OK之后，一直点下一步，最后，点击启动单机采集就好。之后，就是漫长地采集数据的过程了，百度地图上存在的相关商铺，都会被采集出来，你会看到这样一幅画面：

保存数据

我已经采集到不重复的500来个商铺了，但我还是不打算放手，再搜点儿，主要是享受偷数据的快感，对吧，O(∩_∩)O哈哈~
然后，我们把得到的数据进行保存，选择右下角“导出到数据库” ，我选择mysql数据库，当然，前提，你在mysql数据库已建库与表以及相应字段，然后，选择映射时，将抓取字段名与数据表字段进行匹配映射就可以了，导入后，就是这样了(^__) ~~ ：

然后，我们就可以疯狂地进行SQL查询，找到符合我们要求的美食店铺咯。当然我已经找到了，嘿嘿，SQL语句可以是：
SELECT * FROM SHOP WHERE SHOP_PRICE!=’’ ORDER BY SHOP_LEVEL DESC,SHOP_PRICE ASC

价格低，评分高的店铺的确还是有的，满意、开心！O(∩_∩)O~

上面着重讲到了数据的抓取，而对于数据的筛选，貌似仅仅用到了一条sql语句，这样未免有些太low，而且不容易找到自己最想要的价格区间和评分区间。所以，我的打算是使用遗传算法：即基于已获的大量数据，以价格和评分通过公式“1-|EP1-A|-|EP2-B| ”转换为算法适应度，再经过交叉运算与变异运算之后，得到最佳个体，即我想要的最终店铺。

最后

附上面八爪鱼安装包下载地址：http://pan.baidu.com/s/1o7Frots （含以上采集工作流程图的任务，直接导入任务使用就可以了，当然你也可以在官网去下载）
遗传算法相关说明：模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。我也写了一篇关于遗传算法的博客（被用于英语四级考试的自动组卷），详见：http://blog.csdn.net/localhost01/article/details/52141554

【爬虫】使用八爪鱼爬行百度地图美食店数据相关推荐

python批量爬取小网格区域坐标系_Python爬虫实例_利用百度地图API批量获取城市所有的POI点...
上篇关于爬虫的文章,我们讲解了如何运用Python的requests及BeautifuiSoup模块来完成静态网页的爬取,总结过程,网页爬虫本质就两步: 1.设置请求参数(url,headers,co ...
retrofit 解析百度地图api 返回数据_新版百度地图建筑数据含高度解析
注:本文中所述内容仅作为研究用途,不包括任何技术细节,不提供数据爬取.非法攻击的咨询和支持.另:百度建筑轮廓数据中存在明显签名式错误,下载使用容易被追求侵权. 矢量瓦片:爬取百度地图必须要了解矢量瓦片 ...
求职产品经理【十六】笔试真题串讲之百度地图与大数据结合的产品
今天我们进入笔试真题串讲的第一节课,我会给大家详细讲一下需求分析题的答题技巧. 看一下下面这道题:来自百度的校招真题请设计一款百度地图和大数据相结合的产品,产品形态不限(需要说清楚包括但不限于以下内 ...
百度地图迁徙大数据_百度地图大数据：五一高速拥堵不似预期，广深成热门迁出入地...
五一假期在即,你是否做好了"出行功课"?高速拥堵水平降低.公众出门不出城.公园成踏青赏景热门目的地--在全国疫情防控仍未松懈的时刻,2020年的五一或许注定与往年不同. 近日,百度 ...
百度地图迁徙大数据_百度地图大数据看十一：各地商圈出现“红色拥堵”，游乐场迎来“高光时刻”...
作为疫情防控常态化后的第一个黄金周,今年的国庆中秋长假令广大民众出游情绪高涨,旅游.探亲出行等客流持续走高,交通.旅游.餐饮等行业迎来全线复苏.百度地图迁徙大数据平台.节假日出行仪表盘等平台紧密跟踪假 ...
vue全家桶+Echarts+百度地图，搭建数据可视化系统（项目）
vue全家桶+Echarts+百度地图,搭建数据可视化系统 1. 前言 1.1 业务场景突然接到产品说要做一个数据监控的系统.有线图.柱状图.地图,类似于数据可视化的方式. 本人之前从未接触过Ech ...
python 实现对地图的点击_利用python和百度地图API实现数据地图标注的方法
如题,先上效果图: 主要分为两大步骤使用python语句,通过百度地图API,对已知的地名抓取经纬度使用百度地图API官网的html例程,修改数据部分,实现呈现效果一.使用python语句,通过 ...
八爪鱼采集百度地图坐标店铺视频教程
视频无法上传视频看这里八爪鱼采集采集地图百度地图坐标流程创建规则圈子基础字段配置开始采集导入数据库详细看视频文档写得累八爪鱼百度地图坐标
爬虫实践：通过百度地图API获取省份公园数据
目标通过百度地图Web服务API获取中国所有城市的公园数据,并且获取每一个公园具体的评分.描述等详情,最终将数据存储到MySQL数据库中. 实践准备百度地图Place API的地址为 http:/ ...
八爪鱼采集百度地图坐标店铺视频教程 1
视频无法上传视频看这里八爪鱼采集采集地图百度地图坐标流程创建规则圈子基础字段配置开始采集导入数据库详细看视频文档写得累八爪鱼百度地图坐标

【爬虫】使用八爪鱼爬行百度地图美食店数据

下载八爪鱼

开启采集

保存数据

最后

【爬虫】使用八爪鱼爬行百度地图美食店数据相关推荐

最新文章

热门文章