CREATE DATABASE `news` /*!40100 DEFAULT CHARACTER SET utf8 COLLATE utf8_bin */;
CREATE TABLE `news` (`id` varchar(11) COLLATE utf8_bin NOT NULL,`order` double NOT NULL,`title` varchar(200) COLLATE utf8_bin NOT NULL,`jsonstr` json DEFAULT NULL,`createdAt` varchar(255) COLLATE utf8_bin DEFAULT NULL,`updatedAt` varchar(255) COLLATE utf8_bin DEFAULT NULL,`insertTime` datetime DEFAULT CURRENT_TIMESTAMP,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

// app/service/news.js
const Service = require('egg').Service;class NewsService extends Service {async list(pageIndex = '', pageSize = '20') {try {// read configconst { serverUrl } = this.config.readhub;// 热门话题const topic = `${serverUrl}topic?lastCursor=${pageIndex}&pageSize=${pageSize}`;// use build-in http client to GET hacker-news apiconst result = await this.ctx.curl(topic,{dataType: 'json',});if (result.status === 200) {return result.data;}return [];} catch (error) {this.logger.error(error);return [];}}async saveDB(list) {try {const newsClient = this.app.mysql.get("news");list.data.forEach(item => {// 插入newsClient.insert('news', {id: item.id,order: item.order,title: item.title,jsonstr: JSON.stringify(item),createdAt: new Date(item.createdAt).getTime(),updatedAt: new Date(item.updatedAt).getTime(),}).then(result => {// 判断更新成功const updateSuccess = result.affectedRows === 1;this.logger.info(item.id + " > " + updateSuccess);}).catch(error => {//入库失败错误机制触发this.app.cache.errorNum += 1;})});} catch (error) {this.logger.error(error);}}
}module.exports = NewsService;

const Subscription = require('egg').Subscription;class UpdateCache extends Subscription {// 通过 schedule 属性来设置定时任务的执行间隔等配置
  static get schedule() {return {interval: '5s', // 隔单位 m 分 、  s 秒、  ms  毫秒 type: 'all', // 指定所有的 worker 都需要执行immediate: true, //配置了该参数为 true 时，这个定时任务会在应用启动并 ready 后立刻执行一次这个定时任务。disable: false//配置该参数为 true 时，这个定时任务不会被启动。
    };}// subscribe 是真正定时任务执行时被运行的函数
  async subscribe() {let ctx = this.ctx;ctx.logger.info('update cache errorNum  = ' + ctx.app.cache.errorNum);// errorNum 当错误数量 > 50时 停止抓取数据if (ctx.app.cache.errorNum > 50) {ctx.logger.info('errorNum > 50 stop ');return;}ctx.logger.info('update cache begin ! currentLastCursor = ' + ctx.app.cache.lastCursor);const pageIndex = ctx.app.cache.lastCursor || '';const pageSize = '20';const newsList = await ctx.service.news.list(pageIndex == 1 ? '' : pageIndex, pageSize);if (newsList.data.length == 0) {//没有数据时错误机制触发this.app.cache.errorNum += 1;ctx.logger.info('no data stop ! currentLastCursor = ' + ctx.app.cache.lastCursor);} else {ctx.service.news.saveDB(newsList)ctx.app.cache.lastCursor = newsList.data[newsList.data.length - 1].order;ctx.logger.info('update cache end ! currentLastCursor set  = ' + ctx.app.cache.lastCursor);}}
}module.exports = UpdateCache;

const Subscription = require('egg').Subscription;class UpdateCacheInit extends Subscription {// 通过 schedule 属性来设置定时任务的执行间隔等配置
  static get schedule() {return {interval: 60 * 24 + 'm', // 隔单位 m 分 、  s 秒、  ms  毫秒 type: 'all', // 指定所有的 worker 都需要执行immediate: true, //配置了该参数为 true 时，这个定时任务会在应用启动并 ready 后立刻执行一次这个定时任务。disable: false//配置该参数为 true 时，这个定时任务不会被启动。
    };}// subscribe 是真正定时任务执行时被运行的函数
  async subscribe() {let ctx = this.ctx;ctx.logger.info('update cache init');if (ctx.app.cache.errorNum > 50) {//初始化内置缓存ctx.app.cache = {lastCursor: '',errorNum: 0 //错误数量
      };}}
}module.exports = UpdateCacheInit;