一. html解析

1. bs4介绍及安装

a. 官方介绍:

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

b. 安装:

pip install beautifulsoup4

2. bs4对象的种类

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment:

Tag: Tag对象与XML或HTML原生文档中的tag相同, 如:

导航

, 这就是一个标签

NavigableString: 字符串常被包含在tag内.Beautiful Soup用 NavigableString类来包装tag中的字符串, 如: 导航

BeautifulSoup: 就是整个html对象

Comment: 注释对象, 如: , 它其实就是一个特殊NavigableString

importrequestsfrom bs4 importBeautifulSoup

r= requests.get("https://www.cnblogs.com/fayez/")#html解析是多种解析方式之一, 其他还有lxml 和 html5lib, 详情请查看官网

soup = BeautifulSoup(r.content, "html.parser")#Tag 对象(找到第一个符合的tag)

print(soup.h1)print(type(soup.h1))#soup.find_all("h1")找到所有的"h1"tag

print(soup.find_all("h1"))#NavigableString对象

print(soup.h1.string)print(type(soup.h1.string))#BeautifulSoup对象

print(type(soup))

3. 获取内容的方法等:

1. tag属性:

1. tag.attrs可以返回所有的属性, 返回内容为字典格式

2. 获取其中的某个一属性, 跟操作字典一样, 如: tag["href"]

3. 由于class属性一般可以为多个,中间空格隔开, 所有class属性获取的是一个list类型:[u'classes']

importrequestsfrom bs4 importBeautifulSoup

r= requests.get("https://cn.bing.com/")

soup= BeautifulSoup(r.content, "html.parser")#获取所有属性

print(soup.input.attrs)#获取对应属性的值

print(soup.input["title"])#class属性返回list

print(soup.input["class"])#获取class属性的每个内容

print(soup.input["class"][0])

2. get_text()

1. find_all查找的是一个list对象

2. get_text()获取tag标签下所有的文本

3. replace替换字符串里面的特殊字符

importrequestsfrom bs4 importBeautifulSoup

r= requests.get("https://www.cnblogs.com/fayez/")

soup= BeautifulSoup(r.content, "html.parser")#查找所有类名为"posttitle"的标签

articles = soup.find_all(class_="posttitle")for i inarticles:print(i.get_text().replace("\n", ""))

3. contents

1. find只查找一个(返回第一个)

2. Contents返回所有的子Tag(list)

importrequestsfrom bs4 importBeautifulSoup

r= requests.get("https://www.cnblogs.com/fayez/")

soup= BeautifulSoup(r.content, "html.parser")

articles= soup.find(id="rightcontent")print(articles.contents)

二. 爬取图片到本地(可下漫画~)

#coding:utf-8

importrequestsfrom bs4 importBeautifulSoupimportos

r= requests.get("http://699pic.com/sousuo-218808-13-1.html")

soup= BeautifulSoup(r.content,"html.parser")#查找所有 class="lazy" 的元素

images = soup.find_all(class_="lazy")

curPath= os.path.dirname(os.path.realpath(__file__))for i inimages:try:#获取元素中对应属性的值

jpg_url = i["data-original"]

title= i["title"]#请求各图片地址(比视频中多了个 “http:”)

im = requests.get("http:"+jpg_url)#写入图片

with open(title+".jpg","wb") as f:

f.write(im.content)exceptException as msg:print("msg")

三. 概念 & 方法 & 参数

0. 更具体请查看 bs4 中文官网

1. 父子节点：如果无法一次性找到一个 Tag, 那就先找他父节点，父节点找不到就找爷爷节点。

#coding:utf-8

importrequestsfrom bs4 importBeautifulSoup

r= requests.get("https://www.cnblogs.com/fayez/p")

soup= BeautifulSoup(r.content,"html.parser")

titles= soup.find_all(class_="postTitl2")for i intitles:#i 是父亲节点，a 是期望获取的节点

print(i.a.string)

2. find_all: find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

3. limit 参数：limit 参数限制返回结果的数量

soup.find_all("a", limit=2)