怎样使用Scrapy爬取NVD网站上的数据

关于Scrapy的使用，我已经写过很多篇博客了：

Python爬虫框架Scrapy的基本使用方法（以爬取加密货币GitHub链接为例）_蛐蛐蛐的博客-CSDN博客

使用Python爬虫框架Scrapy爬取Android Vulnerability Bulletin（安卓系统漏洞公告）基本方法_蛐蛐蛐的博客-CSDN博客

使用Python爬虫框架Scrapy爬取CVE Details中的CVSS_蛐蛐蛐的博客-CSDN博客

不过遇到新的需求的时候，还是想记录一下。不过因为只是简单记录，所以这篇博客很水。例如我想爬取这个网页中： NVD - CVE-2022-20220

这个漏洞的CWE的属性值，应该怎么匹配呢，还是看看源码：

<tr data-testid="vuln-CWEs-row-0"><td data-testid="vuln-CWEs-link-0"><a href="http://cwe.mitre.org/data/definitions/22.html" target="_blank">CWE-22</a>

所以匹配这个实际上也很简单，我直接给出Xpath的结果，一看便知：

for each in response.xpath('//tr/td/a[starts-with(@href,"http://cwe.mitre.org/data/definitions")]/text()'):

就简单总结这么多，应该说我对Scrapy这个爬虫的使用算是相当了解了。

怎样使用Scrapy爬取NVD网站上的数据相关推荐

四十一、完成scrapy爬取官方网站新房的数据
@Author:Runsen 文章目录前言分析网页新建项目加请求头搞定item 首页调试详情页调试保存json 前言在前几天,接到一个大学生的作业的爬虫单子,要求采用scrapy爬取链 ...
scrapy爬取某网站文章
scrapy简单介绍 scrapy是一款优秀的python爬虫框架,使用scrapy可以很容易也很高效的爬取某些网站的大批量数据,由于scrapy框架底层对爬虫要做的工作做了很多集成和封装,因此对于开 ...
爬虫入门--爬取就业网站上的岗位信息构造数据集
爬虫入门--爬取就业网站上的岗位信息.解析爬取的数据构造数据集爬虫入门实践爬虫的基本概念爬虫的技术实现爬虫入门实践大家好!随着大数据分析逐渐火热的今天,爬虫技能也成了数据分析师一项不可或缺的 ...
基于selenium+scrapy爬取复仇者联盟4豆瓣影评数据
基于selenium+scrapy爬取复仇者联盟4豆瓣影评数据参考资料: 黑马程序员爬虫教程静觅爬虫教程 mac下anaconda安装selenium+PhantomJS scrapy下载中间件结 ...
Scrapy爬取1908电影网电影数据
Scrapy爬取1908电影网电影数据最初是打算直接从豆瓣上爬电影数据的,但编写完一直出现403错误,查了查是豆瓣反爬虫导致了,加了headers也还是一直出现错误,无奈只能转战1908电影网了. ...
python—简单数据抓取七（采取蘑菇API代理设置scrapy的代理IP池并利用redis形成队列依次使用，利用ip池访问网页并将scrapy爬取转移到items的数据存入到数据库）
学习目标: Python学习二十七-简单数据抓取七学习内容: 1.采取蘑菇API代理设置scrapy的代理IP池并利用redis形成队列依次使用 2.利用ip池访问网页并将scrapy爬取转移到it ...
爬取某网站的潮汐数据
爬取某网站的潮汐数据 import re,os import requests import datetime import random import timeheaders = {'User-Ag ...
用scrapy爬取菜谱网站的食谱与ajax异步加载标签的获取
由于最近想做一个和菜谱应用,所以需要爬虫爬到大量的食谱数据,学习了一系列爬虫相关的知识,和大家分享一下首先我们要爬取的网站的域名为"home.meishichina.com" 在 ...
scrapy爬取某网站,模拟登陆过程中遇到的那些坑
本节内容在访问网站的时候,我们经常遇到有些页面必须用户登录才能访问.这个时候我们之前写的傻傻的爬虫就被ban在门外了.所以本节,我们给爬虫配置cookie,使得爬虫能保持用户已登录的状态,达到获得那 ...

怎样使用Scrapy爬取NVD网站上的数据

怎样使用Scrapy爬取NVD网站上的数据相关推荐

最新文章

热门文章