Bs 最近开始养生之道，需要一些材料。

所谓养生，动词也，亦可为名词。原指道家通过各种方法颐养生命、增强体质、预防疾病，从而达到延年益寿的一种医事活动。养，即调养、保养、补养之意；生，即生命、生存、生长之意。现代意义的“养生”指的是根据人的生命过程规律主动进行物质与精神的身心养护活动。

1.目标

http://jlxw.jiudaifu.com/

定位元素，有一个 href。

详情页的 url = 主页的url + href。

2.开始获取所有的详情页 href

"""作者：mldsh日期：2022年08月26日10:20使用工具：PyCharm
"""
import requests
from icecream import ic
from lxml import etreeclass AcuPoint(object):def __init__(self):# 主页 urlself.url = 'http://jlxw.jiudaifu.com/'# 获取主页 htmldef get_index_html(self):# 发送 requests 请求res = requests.get(url=self.url).textreturn res# 获取主页所有的 hrefdef get_href(self):index_html = self.get_index_html()tree = etree.HTML(index_html)detail_href = tree.xpath('//li[@class="menu_s center"]')for href_path in detail_href:href = href_path.xpath('./div/a/@href')ic(href)if __name__ == '__main__':acu = AcuPoint()acu.get_href()

看到第一个 href 是 “xinfo/70”

跑出来的第一个结果也是一样。

在看最后一个，一样的，说明主页href 全部获取完成。

3.拼接详情页的 url，定位元素，获取数据。

"""作者：mldsh日期：2022年08月26日10:20使用工具：PyCharm
"""
import requests
from icecream import ic
from lxml import etreeclass AcuPoint(object):def __init__(self):# 主页 urlself.url = 'http://jlxw.jiudaifu.com/'# 获取主页 htmldef get_index_html(self):# 发送 requests 请求res = requests.get(url=self.url).textreturn res# 获取主页所有的 hrefdef get_href(self):all_url = {}index_html = self.get_index_html()tree = etree.HTML(index_html)li = tree.xpath('//li[@class="menu center"]')for li_href in li:theme_url = li_href.xpath('./a/@href')theme_name = li_href.xpath('./a/span/text()')href = li_href.xpath('./ul/li[@class="menu_s center"]/div/a/@href')href_name = li_href.xpath('./ul/li[@class="menu_s center"]/div/a/span/text()')all_url[theme_name[0]] = {self.url + theme_url[0]: dict(zip(href_name, [self.url + i for i in href]))}return all_url# 详情页数据def detail_data(self):detail_url_dict = self.get_href()for detail_name in detail_url_dict:# print(list(detail_url_dict[detail_name].keys())[0],detail_name)res_html = requests.get(url=list(detail_url_dict[detail_name].keys())[0]).texttree = etree.HTML(res_html)div = tree.xpath('//div[@class="main"]')for h2_data in div:title = h2_data.xpath('./ul/li/h2/text()')text = h2_data.xpath('./ul/li/div/text()')img_url = h2_data.xpath('./ul/li/div/img/@src')text.extend(img_url)ic(title, text)returnif __name__ == '__main__':acu = AcuPoint()acu.detail_data()

python 爬虫-养生之道相关推荐

关于Python爬虫原理和数据抓取1.1
为什么要做爬虫? 首先请问:都说现在是"大数据时代",那数据从何而来? 企业产生的用户数据:百度指数.阿里指数.TBI腾讯浏览指数.新浪微博指数数据平台购买数据:数据堂.国云数据 ...
python爬虫之Scrapy框架的post请求和核心组件的工作流程
python爬虫之Scrapy框架的post请求和核心组件的工作流程一 Scrapy的post请求的实现在爬虫文件中的爬虫类继承了Spider父类中的start_urls,该方法就可以对star ...
python爬虫抓取信息_python爬虫爬取网上药品信息并且存入数据库
我最近在学习python爬虫,然后正好碰上数据库课设,我就选了一个连锁药店的,所以就把网上的药品信息爬取了下来. 1,首先分析网页 2,我想要的是评论数比较多的,毕竟好东西大概是买的人多才好.然后你会 ...
python爬虫案例_推荐上百个github上Python爬虫案例
现在学生都对爬虫感兴趣,这里发现一些好的github开源的代码,分享给各位 1.awesome-spider 该网站提供了近上百个爬虫案例代码,这是ID为facert的一个知乎工程师开源的,star6 ...
Python培训分享：python爬虫可以用来做什么?
爬虫又被称为网络蜘蛛,它可以抓取我们页面的一些相关数据,近几年Python技术的到来,让我们对爬虫有了一个新的认知,那就是Python爬虫,下面我们就来看看python爬虫可以用来做什么? Pytho ...
玩转 Python 爬虫，需要先知道这些
作者 | 叶庭云来源 | 修炼Python 头图 | 下载于视觉中国爬虫基本原理 1. URI 和 URL URI 的全称为 Uniform Resource Identifier,即统一资源标志 ...
买不到口罩怎么办？Python爬虫帮你时刻盯着自动下单！| 原力计划
作者 | 菜园子哇编辑 | 唐小引来源 | CSDN 博客马上上班了,回来的路上,上班地铁上都是非常急需口罩的. 目前也非常难买到正品.发货快的口罩,许多药店都售完了. 并且,淘宝上一些新店口罩 ...
一个月入门Python爬虫，轻松爬取大规模数据
如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这样一个月入门Python爬虫,轻松爬的编程语言提供越来越多的优秀工具,让爬虫 ...
Python爬虫获取文章的标题及你的博客的阅读量，评论量。所有数据写入本地记事本。最后输出你的总阅读量！
Python爬虫获取文章的标题及你的博客的阅读量,评论量.所有数据写入本地记事本.最后输出你的总阅读量!还可以进行筛选输出!比如阅读量大于1000,之类的! 完整代码在最后.依据阅读数量进行降序输出! ...

python 爬虫-养生之道

Bs 最近开始养生之道，需要一些材料。

1.目标

2.开始获取所有的详情页 href

3.拼接详情页的 url，定位元素，获取数据。

python 爬虫-养生之道相关推荐

最新文章

热门文章