python实战演练一：抓取我自己csdm博客信息的标题和文章链接，并存入文件夹《抓取信息》

抓取我自己csdm博客信息的标题和文章链接，并存入文件夹

一、抓取信息

分析：
1、我们要找到自己所要抓取的链接的xpath
右键：检查元素-》xpath

代码：

from lxml import  etree#调用的函数
import requests #调用的函数
r=requests.get('https://blog.csdn.net/weixin_41665637').content#被测地址
topic=etree.HTML(r)
html=topic.xpath("//main/div/div/h4/a/@href")#抓取链接
title=topic.xpath("//main/div/div/h4/a/text()")#抓取标题
#
print(html)
print(title)

结果

python实战演练一：抓取我自己csdm博客信息的标题和文章链接，并存入文件夹《抓取信息》相关推荐

爬取掘金开发者头条博客园等我需要的文章
先说下我的爬取结果连接 http://craw.cibn.top/ 我是一个很懒的人但是每天为了进步还是要看一下各大社区掘金啊 csdn 开发者头条博客园等,毕竟这年头程序员不学习 ...
如何控制Yahoo! Slurp蜘蛛的抓取频度_国外博客资源站_百度空间
如何控制Yahoo! Slurp蜘蛛的抓取频度_国外博客资源站_百度空间如何控制Yahoo! Slurp蜘蛛的抓取频度 2009年08月13日星期四 5:56 上周末豆瓣的阿北给我电话:最近你们雅 ...
基于python爬虫的论文标题_Python3实现爬取简书首页文章标题和文章链接的方法【测试可用】...
本文实例讲述了Python3实现爬取简书首页文章标题和文章链接的方法.分享给大家供大家参考,具体如下: from urllib import request from bs4 import Beaut ...
【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中（2）...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
python刷今日头条访问量_Python 自动刷博客浏览量实例代码
怎么利用python爬取csdn博客访问量例子如何使用python来爬取自己博客访问量承认吧,小编们都是在深夜里崩溃的俗人.晚安,世界. 博客网站上有访问量这个记录么如果有就可以抓取网站下来,正则 ...
一文搞定scrapy爬取众多知名技术博客文章保存到本地数据库，包含：cnblog、csdn、51cto、itpub、jobbole、oschina等
本文旨在通过爬取一系列博客网站技术文章的实践,介绍一下scrapy这个python语言中强大的整站爬虫框架的使用.各位童鞋可不要用来干坏事哦,这些技术博客平台也是为了让我们大家更方便的交流.学习.提高 ...
python处理gzip压缩的http数据 - XII - 博客大巴
python处理gzip压缩的http数据 - XII - 博客大巴 python处理gzip压缩的http数据 - XII - 博客大巴 python处理gzip压缩的http数据 - [pytho ...
VB选择文件夹并取文件夹名
代码如下: '引用Microsoft Shell Controls And Automation Dim ShellA As New Shell Private Sub Command1_Click( ...
Python -- 堆数据结构 heapq - I love this game! - 博客频道 - CSDN.NET
Python -- 堆数据结构 heapq - I love this game! - 博客频道 - CSDN.NET Python -- 堆数据结构 heapq - I love this game ...
【Python开发】Flask开发实战：个人博客（三）
Flask开发实战:个人博客(三) 在[Python开发]Flask开发实战:个人博客(一) 中,我们已经完成了数据库设计.数据准备.模板架构.表单设计.视图函数设计.电子邮件支持等总体设计的内容 ...

python实战演练一：抓取我自己csdm博客信息的标题和文章链接，并存入文件夹《抓取信息》

一、抓取信息

python实战演练一：抓取我自己csdm博客信息的标题和文章链接，并存入文件夹《抓取信息》相关推荐

最新文章

热门文章