基于NodeJS的视频网站爬虫工具

闲暇时间写了一个基于nodejs的爬虫工具，可以对视频网址等站点进行爬取数据

示例站点为dilidili动漫网

http、cheerio用于获取网站Dom数据

exceljs用于生成excel文件

Code：[https://github.com/cmyh100/dilidiliSpider]

使用方法

可以在src/index.js文件修改相关初始化参数(例如调整endTime: 2019-01)
结果保存于excel文件夹中

运行

npm i
npm start

备注

详情请参考github代码

excel多个文件合并可以看这里[https://blog.csdn.net/cmyh100/article/details/89020125]

小伙伴们走过路过，记得在GitHub上帮忙点个Star，谢谢了哈 (。・ω・。)ノ♡~

GitHub：[https://github.com/cmyh100]

基于NodeJS的视频网站爬虫工具相关推荐

基于Python的招聘网站爬虫及可视化的设计与实现
摘要 I Abstract II 引言 1 第1章课题概述 2 1.1 课题内容 2 1.2 课题背景 2 1.3 课题意义 3 1.4 运行环境 3 1.5 相关技术 3 1.5.1 Pyth ...
【基于Python的招聘网站爬虫及可视化的设计与实现】
完整下载:基于Python的招聘网站爬虫及可视化的设计与实现.docx 目录目录 2 摘要 3 关键词 3 第一章绪论 3 1.1 研究背景 3 1.2 研究意义 4 1.3 研究目的 6 1.4 ...
影视网站设计报告代码MySQL_基于PHP的视频网站的设计与实现(MySQL)(含录像)
基于PHP的视频网站的设计与实现(MySQL)(含录像)(毕业论文10000字,程序代码,MySQL数据库) 本研究的视频网站基于当前较为流行的B/S结构,采用PHP技术和MYSQL数据库进行开发设计 ...
基于CentOS7的Matomo网站统计分析工具
目录工具简介 1 安装前环境检查 2 开始安装PHP7.2 2.1 开始安装PHP 2.2 启动php-fpm 3 安装MariaDB 3.1 通过命令行安装MariaDB 3.2 初始化Marib ...
基于nodejs电影交流网站设计与实现-计算机毕业设计源码+LW文档
摘要网络的广泛应用给生活带来了十分的便利.所以把电影交流管理与现在网络相结合,利用nodejs技术建设电影交流网站,实现电影交流的信息化.则对于进一步提高电影交流管理发展,丰富电影交流管理经验能 ...
[android 视频网站爬虫] 利用爬虫JSOPU库将电影网站打包成一个APP，通过有米来赚钱
先看几张软件截图吧: 创作目的:在各大视频app中观看视频时,动不动就需要VIP收费,此时前去网页搜索要看的视频,但是,广告实在太烦人了,于是萌生了做个能屏蔽广告的,干净的应用. 创作步骤:1.首先搭 ...
基于SpringBoot的影视/短视频网站系统
PS:该项目<基于springboot的视频网站设计与实现>为本人毕业设计.使用的开发工具是idea和webstrom.使用了java.springboot.mybatis.thymele ...
排名前20的网页爬虫工具，超多干货
网络爬虫在许多领域都有广泛的应用,它的目标是从网站获取新的数据,并加以存储以方便访问.而网络爬虫工具越来越为人们所熟知,因为它能简化并自动化整个爬虫过程,使每个人都可以轻松访问网络数据资源. 1. O ...
网站建设工具对比：IM Creator, Mobirise, Webydo以及uKit
http://www.zcool.com.cn/article/ZNjE3NjA4.html 准备好正式建设以及发布你的网站了吗?为了节省时间.精力和金钱,网站建设工具可能是你会第一个考虑的快速发布一 ...

基于NodeJS的视频网站爬虫工具

使用方法

运行

备注

基于NodeJS的视频网站爬虫工具相关推荐

最新文章

热门文章