python爬虫教程-Python爬虫入门教程——爬取自己的博客园博客

互联网时代里，网络爬虫是一种高效地信息采集利器，可以快速准确地获取网上的各种数据资源。本文使用Python库requests、Beautiful Soup爬取博客园博客的相关信息，利用txt文件转存。

基础知识：

网络爬虫是一种高效地信息采集利器，利用它可以快速、准确地采集互联网上的各种数据资源，几乎已经成为大数据时代IT从业者的必修课。简单点说，网络爬虫就是获取网页并提取和保存信息的自动化过程，分为下列三个步骤：获取网页、提取信息、保存数据。

1.获取网页

使用requests发送GET请求获取网页的源代码。以获取百度为例：

importrequests

response= requests.get('https://www.baidu.com')print(response.text)

2.提取信息

Beautiful Soup是Python的一个HTML或XML解析库，速度快，容错能力强，可以方便、高效地从网页中提取数据。基本用法：

from bs4 importBeautifulSoup

soup= BeautifulSoup(html, 'lxml')print(soup.prettify())print(soup.title.string)

Beautiful Soup方法选择器：

find_all()查询符合条件的所有元素，返回所有匹配元素组成的列表。API如下：

find_all(name,attrs,recursive,text,**kwargs)

find()返回第一个匹配的元素。举个栗子：

from bs4 importBeautifulSoup

soup= BeautifulSoup(html, 'lxml')print(soup.find('div', attrs={'class': 'article-list'}))

3.保存数据

使用Txt文档保存，兼容性好。

使用with as语法。在with控制块结束的时候，文件自动关闭。举个栗子：

with open(file_name, 'a') as file_object:

file_object.write("I love programming. ")

file_object.write("I love playing basketball. ")

分析页面：

使用Chrome的开发者工具（快捷键F12），可以查看这个页面的源代码。

HTML代码说白了其实就是一棵树，这棵树的根节点为html标签，head标签和body标签是它的子节点，当然有时候还会有script标签。body标签下面又会有许多的p标签、div标签、span标签、a标签等，共同构造了这棵大树。

可以很容易看到这个页面的博文列表是一个id为mainContent的div。

在class为postTitle的div里面可以找到链接和标题，这就是本文爬取的目标。

编写代码：

获取网页使用requests ，提取信息使用Beautiful Soup，存储使用txt就可以了。

#coding: utf-8

importreimportrequestsfrom bs4 importBeautifulSoupdefget_blog_info():

headers= {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64)'

'AppleWebKit/537.36 (KHTML, like Gecko)'

'Ubuntu Chromium/44.0.2403.89'

'Chrome/44.0.2403.89'

'Safari/537.36'}

html=get_page(blog_url)

soup= BeautifulSoup(html, 'lxml')

article_list= soup.find('div', attrs={'id': 'mainContent'})

article_item= article_list.find_all('div', attrs={'class': 'postTitle'})for ai inarticle_item:

title=ai.a.text

link= ai.a['href']print(title)print(link)

write_to_file(title+' ')

write_to_file(link+' ')defget_page(url):try:

headers= {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64)'

'AppleWebKit/537.36 (KHTML, like Gecko)'

'Ubuntu Chromium/44.0.2403.89'

'Chrome/44.0.2403.89'

'Safari/537.36'}

response= requests.get(blog_url, headers=headers, timeout=10)returnresponse.textexcept:return ""

defwrite_to_file(content):

with open('article.txt', 'a', encoding='utf-8') as f:

f.write(content)if __name__ == '__main__':

blog_url= "https://www.cnblogs.com/sgh1023/"get_blog_info()

爬取结果：

python爬虫教程-Python爬虫入门教程——爬取自己的博客园博客相关推荐

Python爬虫系列（二）：爬取中国大学排名丁香园-用户名和回复内容淘宝品比价
Python爬虫系列(二):爬取中国大学排名&丁香园-用户名和回复内容&淘宝品比价目录 Python爬虫系列(二):爬取中国大学排名&丁香园-用户名和回复内容&淘宝品 ...
python爬虫教程下载-Python爬虫入门教程！手把手教会你爬取网页数据
其实在当今社会,网络上充斥着大量有用的数据,我们只需要耐心的观察,再加上一些技术手段,就可以获取到大量的有价值数据.这里的"技术手段"就是网络爬虫.今天就给大家分享一篇爬虫基础知识 ...
python爬虫入门教程-Python爬虫入门教程——爬取自己的博客园博客
互联网时代里,网络爬虫是一种高效地信息采集利器,可以快速准确地获取网上的各种数据资源.本文使用Python库requests.Beautiful Soup爬取博客园博客的相关信息,利用txt文件转存. ...
『Python开发实战菜鸟教程』实战篇：爬虫快速入门——统计分析CSDN与博客园博客阅读数据
文章目录 0x01:引子首先介绍一下网络爬虫是什么,可以用来做什么? 这里简单探讨一下网络爬虫的合法性正式进入爬虫实战前,需要我们了解下网页结构 HTML CSS JScript 写一个简单的 H ...
Python爬虫入门（爬取豆瓣电影信息小结）
Python爬虫入门(爬取豆瓣电影信息小结) 1.爬虫概念网络爬虫,是一种按照一定规则,自动抓取互联网信息的程序或脚本.爬虫的本质是模拟浏览器打开网页,获取网页中我们想要的那部分数据. 2.基本流程 ...
Python爬虫入门 | 5 爬取小猪短租租房信息
小猪短租是一个租房网站,上面有很多优质的民宿出租信息,下面我们以成都地区的租房信息为例,来尝试爬取这些数据. 小猪短租(成都)页面:http://cd.xiaozhu.com/ 1.爬取租房标题 ...
python爬虫-爬妹子图_Python 爬虫入门之爬取妹子图
Python 爬虫入门之爬取妹子图来源:李英杰链接: https://segmentfault.com/a/1190000015798452 听说你写代码没动力?本文就给你动力,爬取妹子图.如果 ...
Python爬虫入门 | 4 爬取豆瓣TOP250图书信息
先来看看页面长啥样的:https://book.douban.com/top250 我们将要爬取哪些信息:书名.链接.评分.一句话评价-- 1. 爬取单个信息我们先来尝试爬取书名,利用之 ...
python爬虫入门(一)爬取钓鱼吧
python爬虫入门(一)爬取钓鱼吧 # Date : 2022/1/1 17:11 ''' 需求:1.输入贴吧名称:钓鱼吧https://tieba.baidu.com/f?kw=钓鱼吧&p ...

python爬虫教程-Python爬虫入门教程——爬取自己的博客园博客

python爬虫教程-Python爬虫入门教程——爬取自己的博客园博客相关推荐

最新文章

热门文章