python beautifulsoup库_Python BeautifulSoup库使用

1、BeautifulSoup库介绍:

2、BeautifulSoup 使用步骤:

3、选择器分类:

4、 CSS选择器:

1. BeautifulSoup库介绍:

# BeautifulSoup库介绍:

BeautifulSoup也是一个解析库

BS解析数据是依赖解析器的, BS支持的解析器有html.parser, lxml, xml, html5lib等, 其中lxml 解析器解析速度快, 容错能力强.

BS现阶段应用的解析器多数是lxml

2. BeautifulSoup 使用步骤:

# BeautifulSoup 使用步骤:

from bs4 import BeautifulSoup

soup = BeautifulSoup(res.text, 'lxml') #实例化BeautifulSoup对象

tag = soup.select("CSS选择器表达式") # 返回一个列表

3. 选择器分类:

1).节点选择器 2).方法选择器 3).CSS选择器

4. CSS选择器:

# CSS选择器:

1.根据节点名及节点层次关系定位标签: 标签选择器 & 层级选择器

soup.select('title')

soup.select('div > ul > li') # 单层级选择器

soup.select('div li') # 多层级选择器

2.根据节点的class属性定位标签: class选择器(classical:经典)

soup.select('.panel')

3.根据id属性定位标签: id选择器

soup.select('#item')

4.嵌套选择:

ul_list = soup.select('ul') #得到的依然是一个数据列表

for ul in ul_list:

print(ul.select('li'))

# 获取节点的文本或属性:

# 如果标签下除了直接子文本外还有其他标签，string将无法获取直接子文本

tag_obj.string: #获取直接子文本-->如果节点内有与直系文本平行的节点, 该方法拿到的是None

tag_obj.get_text(): #获取子孙节点的所有文本

tag_obj['attribute']: #获取节点属性

# 练习示例:

from bs4 import BeautifulSoup

html = '''

BeautifulSoup练习

这是一个div的直接子文本

这是一个段落

这是百度的跳转连接

第一个li标签第二个li标签第三个li标签onetwo测试多层级选择器

'''

# 1.实例化BeautifulSoup对象

soup = BeautifulSoup(html,'lxml')

#2.条用css选择器定位标签，获取标签的文本或属性

### 2.1 根据节点名定位

# r1 = soup.select('h4')

# print(type(r1))

# #列表用下标0取出第一个元素

# print(r1[0].string) #直接获取子文本

# print(r1[0].get_text()) #直接获取所有的子孙文本

### 2.2 根据节点的class定位

# k1 = soup.select('.panel-heading')

# print(k1[0])

### 2.3根据id选择标签定位

# k2 = soup.select('#list-1')

# print(k2[0].get_text())

### 2.4单层级选择器

# cc = soup.select('.panel-body > ul >li')

# print(cc)

### 2.5多层级选择器

# cc1 = soup.select('.panel-body li')

# print(cc1)

'''

利用bs4语法，爬取三国演义文字

'''''

# import requests

# from bs4 import BeautifulSoup

# url = 'http://www.shicimingju.com/book/sanguoyanyi.html'

# headers = {

# 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'

# }

# res = requests.get(url=url,headers=headers)

# soup = BeautifulSoup(res.text,'lxml')

# ret = soup.select('.book-mulu ul li')

# for i in ret:

# title = i.select('a')[0].string

# comment = 'http://www.shicimingju.com'+i.select('a')[0]['href']

# ret1 = requests.get(url=comment,headers=headers)

# res1 = BeautifulSoup(ret1.text,'lxml')

# cc = res1.select('.chapter_content ')[0].get_text()

# with open('threecountry.txt','a',encoding='utf-8') as f:

# f.write(cc+'\n')

'''

利用xpath语法，爬取三国演义文字

'''''

import requests

from lxml import etree

url = 'http://www.shicimingju.com/book/sanguoyanyi.html'

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'

}

res = requests.get(url=url,headers=headers)

tree = etree.HTML(res.text)

ret = tree.xpath('//div[@class="book-mulu"]/ul/li')

for i in ret:

rec = i.xpath('./a/@href')[0]

name = i.xpath('./a/text()')[0]

url = 'http://www.shicimingju.com'+rec

res1 = requests.get(url= url,headers=headers)

tree1 = etree.HTML(res1.text)

cope = tree1.xpath('//div[@class="chapter_content"]/p/text()')[0]+'\n'

with open(name+'.txt','a',encoding='utf-8') as f:

f.write(cope)

python beautifulsoup库_Python BeautifulSoup库使用相关推荐

python bs4库_python bs4库
Beautiful Soup parses anything you give it, and does the tree traversal stuff for you. BeautifulSoup ...
python argparse库_python标准库之argparse
argparse的使用 argparse 是 Python 内置的一个用于命令项选项与参数解析的模块,通过在程序中定义好我们需要的参数,argparse 将会从 sys.argv 中解析出这些参数,并 ...
python机器学习库_Python机器学习库 Top 10，你值得拥有！
随着人工智能技术的发展与普及,Python超越了许多其他编程语言,成为了机器学习领域中最热门最常用的编程语言之一.有许多原因致使Python在众多开发者中如此受追捧,其中之一便是其拥有大量的与机器学习 ...
python xlwings 切片_Python xlwings库学习笔记（1）
Python xlwings库学习笔记(1) Python是最近几年很火的编程语言,被办公自动化的宣传吸引入坑,办公自动化必然绕不开Excel的操作,能操作Excel的库有很多,例如: xlrd xl ...
python 数据分析库_Python数据分析库
python 数据分析库什么是数据分析? (What is Data Analytics?) Data is power. Insights acquired from data is the k ...
机器学习 python 库_Python机器学习库
机器学习 python 库什么是机器学习? (What is Machine Learning?) As the web is immensely growing with each day, an ...
python的标识库和第三方库_Python 标准库、第三方库
Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库.函数和外部工具.其中既有Python内置函数和标准库,又有第三方库和工具.这些库可用于文件读写.网络抓取和解析.数据连接.数清 ...
python单词库_python 单词库
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! python官方教程的最后一个部分就是标准库概览,在这里我们浏览一下标准库,了解 ...
python调用数学库_python 数学库
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 我正在寻找一个3d数学库在python或python绑定. 它需要处理旋转,平移 ...
python多线程库_python多线程库
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! python 多线程多线程类似于同时执行多个不同程序,多线程运行有如下优点:使 ...

python beautifulsoup库_Python BeautifulSoup库使用

BeautifulSoup练习

python beautifulsoup库_Python BeautifulSoup库使用相关推荐

最新文章

热门文章