shell版本爬取NVD网站信息

src=$1
cache_dir=~/cache_for_nvd/
url_head="https://nvd.nist.gov/vuln/detail/"
cnt=0
total=`wc -l ${src}|awk '{print $1}'`
if [ ! -d ${cache_dir} ];thenmkdir ${cache_dir}
fiecho "CVE编号","V3","V2","最后修改时间","描述","Patch" > ${src}.csv
for cveid in `cat ${src}`
dourl=${url_head}${cveid}file=${cache_dir}${cveid}#根据url得到网页源代码if [ ! -f ${file} ];thenwget -O ${file} ${url} -qfi#解析网页数据row_V3=`grep "vuln-cvssv3-base-score" ${file}`row_V2=`grep "vuln-cvssv2-base-score" ${file}`row_summary=`grep "vuln-description" ${file}`row_modified_time=`grep "vuln-description-last-modified" ${file}`#获取字段V3=`echo "${row_V3}"|awk -F '>' '{print $2}'|awk '{print $1}'|awk -F '<' '{print $1}'`V2=`echo "${row_V2}"|awk -F '>' '{print $2}'|awk '{print $1}'|awk -F '<' '{print $1}'`summary=`echo ${row_summary}|awk -F '>' '{print $4}'|awk -F '<' '{print $1}'`md_time=`echo ${row_modified_time}|awk -F '>' '{print $2}'|awk -F '<' '{print $1}'`#获得patch地址patch_lst=`awk '/.*vuln-hyperlinks-row.*/{p=1};/.*vuln-hyperlinks-link.*/{href=$0;h=1};/.*Vendor.*/{if (p==1) print href};/.*<\/tr>.*/{p=0;h=0};' ${file} |awk -F '"' '{print $4"\n\r"}'`#保存echo \"${cveid}\",\"${V3}\",\"${V2}\",\"${md_time}\",\"${summary}\",\"${patch_lst}\">>${src}.csvcnt=$((cnt+1))echo ${cveid} finished. ${cnt}/${total}
done

将要查询的CVE编号放在一个文本中，将这个文件作为参数。eg: nvd_spider cve_lst

shell版本爬取NVD网站信息相关推荐

Python爬取中药网站信息并对其进行简单的分析
开发工具 Python版本:3.5.4 相关模块: 爬虫: import requests from bs4 import BeautifulSoup 词云: from wordcloud impor ...
Scrapy从入门到精通(4)--项目实战爬取图书网站信息
项目实战 url = http://books.toscrape.com 页面分析 scrapy shell U R L> scrapy shell URL>可以使用户在交互式命令行下操作 ...
爬虫爬取相亲网站信息
项目背景:男女人数差过大,导致大部分适合结婚的男女没有找到心仪的另一半,可以选择通过各种相亲网站,但网站上面的信息过多而且需要会员才能获取到联系方式,因此我们项目主要是通过爬取相亲网站(在此采用我主良 ...
python爬虫招聘-Python爬虫-爬取招聘网站信息（一）
学习内容,来源于百度搜索工具及环境 1.python版本:python 3.7.3 2.安装工具:beautifulsoup 3.系统环境:Windows10 4.浏览器:chrome 网页分析 i ...
爬取招聘网站信息，并使用pyecharts和matplotlib进行简单的可视化测试
首先我们先来爬取网站获取所需要的信息,我选择的是boss直聘,别问,问就是拉勾网难爬. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; ...
python爬取网上租房信息_用python爬取租房网站信息的代码
自己在刚学习python时写的,中途遇到很多问题,查了很多资料,下面就是我爬取租房信息的代码: 链家的房租网站两个导入的包 1.requests 用来过去网页内容 2.BeautifulSoup i ...
python房子代码_用python爬取租房网站信息的代码
自己在刚学习python时写的,中途遇到很多问题,查了很多资料,下面就是我爬取租房信息的代码: 链家的房租网站两个导入的包 1.requests 用来过去网页内容 2.BeautifulSoup i ...
python自动爬取更新电影网站_python爬取电影网站信息
一.爬取前提 1)本地安装了mysql数据库 5.6版本 2)安装了Python 2.7 二.爬取内容电影名称.电影简介.电影图片.电影下载链接三.爬取逻辑 1)进入电影网列表页, 针对列表的ht ...
怎样使用Scrapy爬取NVD网站上的数据
关于Scrapy的使用,我已经写过很多篇博客了: Python爬虫框架Scrapy的基本使用方法(以爬取加密货币GitHub链接为例)_蛐蛐蛐的博客-CSDN博客使用Python爬虫框架Scrapy ...

shell版本爬取NVD网站信息

shell版本爬取NVD网站信息相关推荐

最新文章

热门文章