Z-Blog 爬虫 node实现

Z-Blog 爬虫 node实现目前正在连载更新中

一、需求

帮朋友建站，指定用Z-Blog，安装后，我发现采集文章不便，所以准备写一个node爬虫，实现对友站文章的自动采集。

二、实现之前的思考

1、熟悉Z-Blog数据库

Z-Blog使用mysql数据库，所以我需要知道Z-Blog数据库结构。

2、node工具库选型

请求库想用superagent，规则提取用cheerio，并发控制用async，mysql数据库操作用sequelize

3、后续

第一版，简单写，满足自己的功能需求就行。若Z-Blog站点看到我文章，觉得也有爬虫需求，我会尝试写一个针对Z-Blog的采集框架。

三、开工项目地址 z-blog-spider

1、初始化项目

yarn init

2、安装工具库

yarn add superagent cheerio sequelize mysql2

3、创建配置文件config.js

const Sequelize = require('sequelize');
module.exports.db_config = {database: 'qy',username: 'root',password: 'root',config: {host: '127.0.0.1',   // 数据库地址dialect: 'mysql',    // 指定连接的数据库类型operatorsAliases: Sequelize.Op,pool: {max: 5,          // 连接池中最大连接数量min: 0,          // 连接池中最小连接数量idle: 10000      // 如果一个线程 10 秒钟内没有被使用过的话，那么就释放线程}}
}

4、创建文件db.js测试数据库连通性（事先创建mode文件夹用于存放数据模型）

const fs = require('fs');
const path = require('path');
const Sequelize = require('sequelize');const { db_config } = require('./config');const sequelize = new Sequelize(db_config.database, db_config.username, db_config.password, db_config.config);sequelize.authenticate().then(() => {console.log('数据库连接成功');}).catch(err => {console.error('连接数据库出错', err);});
const db = {};fs.readdirSync(path.join(__dirname, './model')).forEach(function (file) {const model = sequelize.import(path.join(__dirname, file));db[model.name] = model;});Object.keys(db).forEach(function (modelName) {if ('classMethods' in db[modelName].options) {if ('associate' in db[modelName].options['classMethods']) {db[modelName].options.classMethods.associate(db);}}
});db.sequelize = sequelize;
db.Sequelize = Sequelize;module.exports = db;

5、创建index.js文件，程序入口

const db = require('./db.js')

打开命令行运行node index.js

不出意外会打印数据库连接成功，说明准备工作完成。

Z-Blog 爬虫 node实现相关推荐

【Part2】用JS写一个Blog （node + vue + mongoDB）
[Part1]用JS写一个Blog (node + vue + mongoDB) 上一节前后端项目分别初始化完成,这一小节我就从后端项目开始写.实现mongoDB数据库的连接. 整理后端目录下面是通 ...
nodejs爬虫 node + cheerio 爬取滚动加载页面
最近在学习nodejs,然后了解到nodejs也可以做爬虫就试了一试还可以就记录一下爬取爱奇艺首页视频标题用到的是node+cheerio,cheerio是jq核心功能的一个快速灵活而又简洁的实现 ...
【Part1】用JS写一个Blog（node + vue + mongoDB）
学习JS也有一段时间了,准备试着写一个博客项目,前后端分离开发,后端用node只提供数据接口,前端用vue-cli脚手架搭建,路由也由前端控制,数据异步交互用vue的一个插件vue-resourse来 ...
node爬虫实现文件下载，访问网址
node爬虫实现文件下载, 访问网址试了下 Node写爬虫,访问速度好像比Java快好多. 同一目录下新建index.js和model.js index.js const model = requi ...
Node学习记录：图片爬虫
一 const request = require('request'); request 对http进行封装的npm request(url,(err,req)=>{ let body=req ...
Node: Puppeteer + 图像识别实现百度指数爬虫
之前看过一篇脑洞大开的文章,介绍了各个大厂的前端反爬虫技巧,但也正如此文所说,没有100%的反爬虫方法,本文介绍一种简单的方法,来绕过所有这些前端反爬虫手段. 下面的代码以百度指数为例,代码已经封装成 ...
Node.js爬虫一站到底系列先导篇
前言: 在web编程课上,老师布置了爬虫任务,而没有任何经验和相关方面知识的小白简直一头雾水,不知道该如何下手.一开始抱着一本厚厚的犀牛书啃了好几天,本以为对Javascipt语法有一定了解后便可以自 ...
104个实用网络爬虫项目资源整理（超全）
*不带括弧注明的默认都是 Python爬虫因为头条对外链不支持等其他原因,上图所有爬虫项目地址可在实验楼微信公众号(实验楼)后台回复关键字 "爬虫" 获取.以下为字母顺序的列表: ...
python爬虫获取的网页数据为什么要加[0-python3爬虫爬取网页思路及常见问题（原创）...
学习爬虫有一段时间了,对遇到的一些问题进行一下总结. 爬虫流程可大致分为:请求网页(request),获取响应(response),解析(parse),保存(save). 下面分别说下这几个过程中可以 ...

Z-Blog 爬虫 node实现

Z-Blog 爬虫 node实现目前正在连载更新中

一、需求

二、实现之前的思考

三、开工项目地址 z-blog-spider

Z-Blog 爬虫 node实现相关推荐

最新文章

热门文章

Z-Blog 爬虫 node实现

Z-Blog 爬虫 node实现 目前正在连载更新中

一、需求

二、实现之前的思考

三、开工 项目地址 z-blog-spider

Z-Blog 爬虫 node实现相关推荐

最新文章

热门文章

Z-Blog 爬虫 node实现目前正在连载更新中

三、开工项目地址 z-blog-spider