node爬取cnode首页数据

源码如下，其中 cheerio类似jquery，具体文档直接使用npm安装就行，运行
node index.js即可

const https = require('https');
const cheerio = require('cheerio');
const fs = require('fs');let page = 1
let endPage = 50 // 最后一页
let url = `https://cnodejs.org/?tab=all&page=${page}`
let dataSource = []; // 存储数据
let dataLength = 0; // 数据长度
grabPage(url);function grabPage(url) { // 抓取页面if (page === 1) {console.log('开始请求数据!');}sendRequest(url) // 发送请求
};function sendRequest(url) {https.get(url, res => {if (page === 1) {console.log('开始解析数据!');}let _html = '';res.on('data', chunk => {_html += chunk;})res.on('end', () => {const $ = cheerio.load(_html);let cell = $('.cell');let len = cell.length;dataLength += len;if (len === 0 || page === endPage) {if (dataLength > 0) {console.log('开始存储文件');saveFile(dataSource); // 储存之json文件}return}cell.each(function (i) {let temp = {"id": i,"avatar": "", // 头像"response": "",// 回复"view": "",// 查看"title": "",// 标题"href": "", // 标题链接"lastTimeAvatar": "", // 最后回复人的头像"date": "" // 事件}temp.avatar = $(this).find('.user_avatar img').attr('src');temp.response = $(this).find('.reply_count .count_of_replies').text();temp.view = $(this).find('.reply_count .count_of_visits').text();temp.title = $(this).find('.topic_title_wrapper .topic_title').text();temp.href = $(this).find('.topic_title_wrapper .topic_title').attr('href');temp.lastTimeAvatar = $(this).find('.last_time img').attr('src');temp.date = $(this).find('.last_time .last_active_time').text();dataSource.push(temp);})page++;grabPage(url);})}).on('error', error => console.log(error))
}function saveFile(data) {fs.appendFile('text.json', JSON.stringify(data), 'utf-8', function (err) {if (err) {console.log(err)return}console.log('存储文件完成!');console.log(`成功抓取${dataLength}条数据`);})
}

node爬取cnode首页数据相关推荐

node爬取墨迹天气数据发送定时邮件
使用vscode通过node.js爬取墨迹天气网站的数据,然后通过邮件每天定时给特定的一个或者多个邮箱发送具有特定html样式的163邮件. 实现爬取功能准备工作: 官网下载node.js 打开v ...
node爬取某app数据_使用NodeJs，实现数据抓取
学习笔记前言近期做一个数据抓爬工具,最开始使用的是C#控制台应用,同时正则表达式去过滤数据,看着还行,可每次运行都依附于.net framework很是不爽,于是想整点其他的方法.本人还是比较喜欢 ...
node爬取某app数据_某APP次日留存数据报告
研究目的:找到用户次日留存影响因素,创建客户画像,构建留存用户预测模型. 结论:对于数据集来说,我们首先考虑渠道gb_guangdiantong可能存在刷单操作.对于模型来说,游戏活动,使用app时长 ...
Node爬取简书首页文章
Node爬取简书首页文章博主刚学node,打算写个爬虫练练手,这次的爬虫目标是简书的首页文章流程分析使用superagent发送http请求到服务端,获取HTML文本用cheerio解析获得的 ...
node 爬虫实战 - 爬取拉勾网职位数据
node 爬虫实战 - 爬取拉勾网职位数据,主要想把数据用于大数据学习,到时候大数据分析可以自己分析一下职位的情况,和比较一些我现在的职位在深圳乃至全国的开发人员水平. 涉及到的技术栈:node.j ...
爬取抖音数据实践方案《进阶版》
这篇文章是续上一篇(爬取抖音数据实践方案<基础版>).根据实际情况,落地的方案是:mitmdump+模拟器+python脚本+mysql数据库. 最终达到的效果截图: 接下来我把上面方案拆 ...
python实现爬虫探探_全栈 - 9 实战爬取豆瓣电影数据
这是全栈数据工程师养成攻略系列教程的第九期:9 实战爬取豆瓣电影数据. 掌握了爬虫的基本原理和代码实现,现在让我们通过实战项目巩固一下. 确定目标在写爬虫之前应当想清楚:我需要哪方面的数据?需要包 ...
Java爬虫历险记 -- （1）爬取百度首页的logo
Java爬虫历险记 – (1)爬取百度首页的logo 在这篇文章里,介绍两种方式来获取百度网页的logo: (1)Httpclient (2) jsoup + Httpclient ,详细的运行结果可 ...
python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
这篇文章主要介绍了python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析的实例,帮助大家更好的理解和学习使用python.感兴趣的朋友可以了解下一.环境准备 python3.8.3 ...
python爬取网页json数据_python爬取json数据库
手把手教你使用Python抓取QQ音乐数据(第一弹) [一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二. ...

node爬取cnode首页数据

node爬取cnode首页数据相关推荐

最新文章

热门文章