python之Beautiflusoup操作

from bs4 import BeautifulSoupimport requestsimport os

######对风景进行爬出操作r = requests.get("http://699pic.com/sousuo-218808-13-1-0-0-0.html")fengjing = r.contentsoup = BeautifulSoup(fengjing,"html.parser")#print(soup.prettify())#找出所有class标签images = soup.find_all(class_="lazy")print(images)for item in images:    try:        jpg_url = item["data-original"]        title = item["title"]        print(title)        print(jpg_url)        print("")        #保存图片        with open(os.getcwd()+"\\jpg"+title+".jpg","wb") as f:            f.write(requests.get(jpg_url).content)    except Exception as e:        pass

另外爬虫Blog如下程序：

from bs4 import BeautifulSoupimport requests

#r = requests.get("https://www.cnblogs.com/Teachertao/")

# 请求首页后获取整个 html 界面blog = r.content#print(blog)

#用html.parser解析出htmlsoup = BeautifulSoup(blog,"html.parser")

# prettify()可以自动解析为html格式print(soup.prettify())

#获取所有的class属性为"block_title"，返回Tag类time = soup.find_all(class_="block_title")#print(time)

db = [item for item in time]print(db)# 获取titletitle = soup.find_all(class_="posttitle")print(title)#获取摘要desc = soup.find_all(class_="c_b_p_desc")print(desc)for item in desc:# tag 的 .contents 属性可以将 tag 的子节点以列表的方式输出    print(item)


########标签如下截图：

########运行结果展示

转载于:https://www.cnblogs.com/Teachertao/p/10428366.html

python之Beautiflusoup操作相关推荐

Python模块MySQLdb操作mysql出现2019错误:Can't initialize character set utf-8
我使用python的MySQLdb模块实现了一个mysql client, 在测试时,出现了如下错误 Python模块MySQLdb操作mysql出现2019错误:Can't initialize c ...
Python 炫技操作：合并字典的七种方法
来源 | Python编程时光(ID: Cool-Python) Python 语言里有许多(而且是越来越多)的高级特性,是 Python 发烧友们非常喜欢的.在这些人的眼里,能够写出那些一般开发者看 ...
Python OpenCV像素操作
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:opencv学堂 Python OpenCV像素操作环 ...
python列表字典操作_Python 列表(list)、字典(dict)、字符串(string)常用基本操作小结...
创建列表 sample_list = ['a',1,('a','b')] Python 列表操作 sample_list = ['a','b',0,1,3] 得到列表中的某一个值 value_star ...
python 实现卷积操作
python实现卷积操作调用tf.nn.conv2d()实现卷积自己实现卷积函数我们知道,tensorflow里面自带卷积函数,tf.nn.conv2d()就可以实现相关功能,本文主要是自己实现 ...
python列表按照指定顺序排序-Python常见排序操作示例【字典、列表、指定元素等】...
本文实例讲述了Python常见排序操作.分享给大家供大家参考,具体如下: 字典排序按value排序 d1 = {"name":"python","b ...
python界面设置-PYTHON图形化操作界面的编程七__创建菜单
PYTHON图形化操作界面的编程七__创建菜单十八.创建菜单 1.水平菜单的创建创建菜单需要多条语句,所以这里通过实例来说明水平菜单的创建方法: 下面的语句可以在窗口中添加水平菜单,其中前四行语句 ...
python与excel做数据可视化-Python的Excel操作及数据可视化
Excel表操作 python操作excel主要用到xlrd和xlwt这两个库,即xlrd是读excel,xlwt是写excel的库. 安装xlrd pip install xlrd 简单的表格读取 ...
python切片语法-Python字符串切片操作知识详解
python 中关于字符串切片的一个问题 aa[0:6] 表示取第0,1,2,3,4,5 位的数据所以是6个 123456 aa[:-1] 表示取开始到倒数第二位的数据所以也是123456 就像 ...
分享：Python fabric实践操作
Python fabric实践操作 http://my.oschina.net/guol/blog/97607

python之Beautiflusoup操作

python之Beautiflusoup操作相关推荐

最新文章

热门文章