大众点评超详细爬虫系列2

大家期待的大众点评系列终于更新啦！！

在上一节中我们了解到了使用xpath或者css选择器来对我们想要的类目对应的节点元素进行定位，并且已经成功获取到了我们想要的一级类目名称，以及所对应的url链接；

那我们接下来是不是就想要获取第二类目的名称和其对应的链接呢，拿大众点评运动健身类目来说，它对应的链接是‘‘https://www.dianping.com/dongguan/ch45/g147’’,我们是不是就可以用这个url链接来作为下一级页面的起始链接呢，在这里我们可以通过selenium的browser.get方法，将一级类目url链接传入，进而打开下一级页面，如图所示

接下来我们就需要获取子分类，也就是运动健身类目下的第二级分类所对应的名称，以及它所对应的url链接，在这里我们可以使用xpath或者css选择器来对名称和链接进行定位，我这里使用的是css选择器，如下图：

例如我们需要定位健身中心链接，则需要这样写（'#classfy a').attr('href'),这样就可以成功的定位到我们需要的链接，健身中心的名称就由大家来思考啦，还是建议大家要亲自动手，多多实践，毕竟实践才是检验真理的唯一标准！！

本期的博文就更新到这里了，下周继续更新哦，不见不散！！

大众点评超详细爬虫系列2相关推荐

大众点评超详细爬虫系列3
大家期待的大众点评系列终于更新啦!! 在上一节中我们已经学会通过xpath或者css选择器来对第二级类目所对应的节点进行定位,并且成功的获取到了我们所需要类目所对应的url链接,那我们获取到之后需要怎 ...
Python数据可视化之Plotnine库超详细教程系列
Python数据可视化之Plotnine库超详细教程系列(一):概述一.Plotnine库简介 ggplot2包奠定了R语言数据可视化在数据科学中的地位,数据可视化一直是Python的短板,即使有M ...
python爬取大众点评数据_python爬虫实例详细介绍之爬取大众点评的数据
python 爬虫实例详细介绍之爬取大众点评的数据一． Python作为一种语法简洁.面向对象的解释性语言,其便捷性.容易上手性受到众多程序员的青睐,基于python的包也越来越多,使得python ...
python爬取大众点评评论_python爬虫抓取数据小试Python——爬虫抓取大众点评上的数据 - 电脑常识 - 服务器之家...
python爬虫抓取数据小试Python--爬虫抓取大众点评上的数据发布时间:2017-04-07
Python_大众点评网站数据爬虫
目标: 爬取大众点评某地区的酒店信息,包括酒店名,平均价格,评价人数,标签等,并将其写入txt,导入数据库. 所用模块:urllib,urllib2,re,BeautifulSoup 大致步骤: (1 ...
python爬大众点评手机号_Python爬虫丨大众点评数据爬虫教程（1）
方式二: 需要安装fontTools包,没安装的请(pip install fontTools) from fontTools.ttLib import TTFont def get_xml(self ...
LeetCode 买卖股票的最佳时机 - 超详细讲解系列题
1.分析使用通用方法,也即动态规划DP (1)LeetCode 121. 买卖股票的最佳时机 class Solution {public int maxProfit(int[] prices) { ...
网络爬虫-大众点评-获取美食商铺评论标签与推荐美食-本地Excel表格
1.由于大众点评的反爬虫措施(如Cookie就是必须放入请求头Header中)太过严禁,博主本人在爬取测试过程中IP被封,更换了IP才得以继续测试,并且后来博主在爬取过程中设置了小型防崩溃措施. 2. ...
反反爬虫大众点评-图片文字破解 2020年6月6日更新
非常关键的一步(没这步就会显示乱码) 直接爬取(错误爬取页面) 当你直接在店铺页面爬取时在F12选取元素后会发现html文件里面的字是乱码字正确的爬取页面进入商家页面的review_all页面, ...

大众点评超详细爬虫系列2

大众点评超详细爬虫系列2相关推荐

最新文章

热门文章