一，爬取博客的主页

import requestsurl = "https://me.csdn.net/ifubing"# https://blog.csdn.net/ifubing
# https://blog.csdn.net/ifubing/article/list/2?res = requests.get(url)con = res.content.decode()print(con)with open("ifubing.html", "w", encoding="utf8") as f:f.write(con)

二，提取内容-提取博客标题与url链接

f = open("ifubing.html", "r", encoding="utf8")
c = f.read()
print(c)import re
# 当前页的全部文章列表
url_list = re.findall(r'<h3><a href="(.*?)" target="_blank" class="sub_title">', c)
# 当前页的标题
title = re.findall(r'<title>(.*?)</title>', c)
print(title)res = re.findall(r"<h3>(.*?)</h3>", c, re.DOTALL)
print(res)d = {}
for i in res:# print(i)li = i.split()print(li)url = li[1].lstrip('href=').strip('"')name = li[-1].strip('</a>')d[name] = urlprint(d)for k,v in d.items():print('标题是{}'.format(k))print('链接是{}'.format(v))print("*"*10)

效果

扩展

正则的演练

爬虫-爬取博客的演练-首页内容保存-首页文章列表与url相关推荐

python 爬虫可视化编程_Python爬虫爬取博客实现可视化过程解析
源码: from pyecharts import Bar import re import requests num=0 b=[] for i in range(1,11): link='https ...
python 爬虫博客园_Python爬虫爬取博客园作业
分析一下他们的代码,我在浏览器中对应位置右键,然后点击检查元素,可以找到对应部分的代码.但是,直接查看当前网页的源码发现,里面并没有对应的代码.我猜测这里是根据服务器上的数据动态生成的这部分代码,所以 ...
Python爬虫爬取博客访问量
实现功能: 查看自己活着别人CSDN中每篇博客的访问量语言: Python3.5 用到的库: requests re 步骤: 1.找到数据源:找到一个现实所有博客的页面,在一篇博客的右上方可以点击目 ...
java爬虫之爬取博客园推荐文章列表
这几天学习了一下Java爬虫的知识,分享并记录一下: 写一个可以爬取博客园十天推荐排行的文章列表通过浏览器查看下一页点击请求,可以发现在点击下一页的时候是执行的 post请求,请求地址为 http ...
python爬虫：去掉重复的URL（爬取博客园中每页标题和url）
1.爬取博客园中每页每条新闻的标题和url,在cnblog.py中写入操作内容(增加对每页的爬取) # -*- coding: utf-8 -*- import scrapy import sys i ...
爬取博客园首页并定时发送到微信
应女朋友要求,为了能及时掌握技术动向,特意写了这个爬虫,每天定时爬取博客园首页并发送至微信. 环境: Python3.4 第三方库 Requests:向服务器发送请求 BeautifulSoup4:解 ...
java 使用webmagic 爬虫框架爬取博客园数据
java 使用webmagic 爬虫框架爬取博客园数据存入数据库学习记录 webmagic简介: WebMagic是一个简单灵活的Java爬虫框架.你可以快速开发出一个高效.易维护的爬虫. ht ...
Java爬虫-WebMagic爬取博客图片(好色龍的網路觀察日誌)
WebMagic爬取博客图片最近在学习java爬虫,接触到WebMagic框架,正好拿我喜爱的博客来练习,希望龙哥(博主)不要责备我~~ 博客链接: 好色龍的網路觀察日誌 ,超级有趣的翻译漫画,持续 ...
python实现kindle每天推送博客2----python实现爬取博客内容
python爬虫教程很多, 本文以爬取博客为例 1. Beautiful Soup Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据为节约篇幅,安装方法自行百度解析 ...

爬虫-爬取博客的演练-首页内容保存-首页文章列表与url

一，爬取博客的主页

二，提取内容-提取博客标题与url链接

扩展

爬虫-爬取博客的演练-首页内容保存-首页文章列表与url相关推荐

最新文章

热门文章