第八章分布式任务调度&人工审核

目标

能够理解什么是分布式任务调度
能够掌握xxl-job的基本使用
能够使用xxl-job解决黑马头条项目中定时任务的功能
能够完成自媒体文章人工审核功能
能够完成自媒体端文章上下架同步的问题

1 分布式任务调度

详细查看资料文件夹中的xxl-job相关文档。

2 自媒体文章审核-定时任务扫描待发布文章

2.1 需求分析

前期回顾：在自媒体文章审核的时候，审核通过后，判断了文章的发布时间大于当前时间，这个时候并没有真正的发布文章，而是把文章的状态设置为了8（审核通过待发布）
定时任务的作用就是每分钟去扫描这些待发布的文章，如果当前文章的状态为8，并且发布时间小于当前时间的，立刻发布当前文章

2.2 自媒体文章数据准备

自动审核的代码都是通过自媒体文章的id进行审核的，这个时候需要在admin端远程调用自媒体端查询文章状态为8且发布时间小于当前时间的文章id列表

（1）修改WmNewsControllerApi接口，新增方法

/*** 查询需要发布的文章id列表* @return*/
List<Integer> findRelease();

(2)业务层

在自媒体微服务中的WmNewsService新增方法

/*** 查询需要发布的文章id列表* @return*/
List<Integer> findRelease();

实现方法：

/*** 查询需要发布的文章id列表* @return*/
@Override
public List<Integer> findRelease(){List<WmNews> list = list(Wrappers.<WmNews>lambdaQuery().eq(WmNews::getStatus, 8).lt(WmNews::getPublishTime,new Date()));List<Integer> resultList = list.stream().map(WmNews::getId).collect(Collectors.toList());return resultList;}

(3)控制器

WmNewsController中新增方法

@GetMapping("/findRelease")
@Override
public List<Integer> findRelease() {return wmNewsService.findRelease();
}

（4）在admin端添加远程调用feign接口

修改WemediaFeign接口添加方法

@GetMapping("/api/v1/news/findRelease")
List<Integer> findRelease();

2.3 xxl-job调度中心创建调度任务

（1）新建执行器，原则上一个项目一个执行器，方便管理

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pyohCSxf-1627036020488)(assets\1586018109877.png)]

（2）新建任务

如下图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6TTXnx59-1627036020490)(assets\1586018203056.png)]

执行器：选择自己新建的执行器

路由策略：轮询

Cron: * 1 * * * ?每分钟执行一次

2.4 xxl-job集成到项目中

（1）引入依赖信息

在leadnews-common中引入依赖

<dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId>
</dependency>

（2）在admin端的application.yml中加入以下配置：

xxljob:admin:addresses: http://localhost:8888/xxl-job-adminexecutor:appname: leadnews-admin-executorport: 9999

（3）创建配置类

package com.heima.admin.config;import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import lombok.extern.log4j.Log4j2;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@Log4j2
@Configuration
public class XxlJobConfig {@Value("${xxljob.admin.addresses}")private String adminAddresses;@Value("${xxljob.executor.appname}")private String appName;@Value("${xxljob.executor.port}")private int port;@Beanpublic XxlJobSpringExecutor xxlJobExecutor() {log.info(">>>>>>>>>>> xxl-job config init.");XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();xxlJobSpringExecutor.setAdminAddresses(adminAddresses);xxlJobSpringExecutor.setAppName(appName);xxlJobSpringExecutor.setPort(port);xxlJobSpringExecutor.setLogRetentionDays(30);return xxlJobSpringExecutor;}
}

3 人工审核文章

2.5 创建调度任务，定时审核

创建任务,查询自媒体文章后进行审核

package com.heima.admin.job;import com.heima.admin.feign.WemediaFeign;
import com.heima.admin.service.WemediaNewsAutoScanService;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.annotation.XxlJob;
import lombok.extern.log4j.Log4j2;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;import java.util.List;@Component
@Log4j2
public class WeMediaNewsAutoScanJob {@Autowiredprivate WemediaNewsAutoScanService wemediaNewsAutoScanService;@Autowiredprivate WemediaFeign wemediaFeign;/*** 每天0点执行一次* @param param* @return* @throws Exception*/@XxlJob("wemediaAutoScanJob")public ReturnT<String> hello(String param) throws Exception {log.info("自媒体文章审核调度任务开始执行....");List<Integer> releaseIdList = wemediaFeign.findRelease();if(null!=releaseIdList && !releaseIdList.isEmpty()){for (Integer id : releaseIdList) {wemediaNewsAutoScanService.autoScanByMediaNewsId(id);}}log.info("自媒体文章审核调度任务执行结束....");return ReturnT.SUCCESS;}}

2.6 测试

在数据库中准备好数据，数据状态为8且发布时间小于当前时间

3 admin端-人工审核文章

3.1 需求分析

自媒体文章如果没有自动审核成功，而是到了人工审核（自媒体文章状态为3），需要在admin端人工处理文章的审核

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-03w6c9oQ-1627036020493)(assets\1599323042719.png)]

平台管理员可以查看待人工审核的文章信息，可以通过（状态改为4）或驳回（状态改为2）

也可以通过点击查看按钮，查看文章详细信息，查看详情后可以根据内容判断是否需要通过审核

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y9STsbln-1627036020496)(assets\1599323199916.png)]

3.2 自媒体端实现

（1）自媒体端-接口定义

1 需要分页查询自媒体文章信息，可以根据标题模糊查询

2 需要根据文章id查看文章的详情

3 修改文章的状态，已实现

修改WmNewsControllerApi接口，添加如下方法

/*** 查询文章列表* @param dto* @return*/
public PageResponseResult findList(NewsAuthDto dto);/*** 查询文章详情* @param id* @return*/
public WmNewsVo findWmNewsVo(Integer id) ;

NewsAuthDto

package com.heima.model.admin.dtos;import com.heima.model.common.dtos.PageRequestDto;
import lombok.Data;@Data
public class NewsAuthDto extends PageRequestDto {/*** 文章标题*/private String title;
}

从原型图中可以看出，返回的文章信心中包含了作者信息，但是作者名称并不能在文章表中体现，只有一个用户id，目前需要通过用户id关联查询用户表或许完整数据

vo:value object 值对象 / view object 表现层对象，主要对应页面显示（web页面）的数据对象、

需要先封装一个vo类，来存储文章信息和作者名称

package com.heima.model.wemedia.vo;import com.heima.model.wemedia.pojos.WmNews;
import lombok.Data;@Data
public class WmNewsVo  extends WmNews {/*** 作者名称*/private String authorName;
}

（2）自媒体端-mapper定义

通过刚才分析，不管是查看文章列表或者是查询文章详情，都需要返回带作者的文章信息，需要关联查询获取数据，而mybatis-plus暂时不支持多表查询，需要手动定义mapper文件实现

修改WmNewsMapper接口添加两个方法

@Mapper
public interface WmNewsMapper extends BaseMapper<WmNews> {List<WmNewsVo> findListAndPage(@Param("dto") NewsAuthDto dto);int findListCount(@Param("dto") NewsAuthDto dto);
}

在src\main\resources\mapper目录下新建WmNewsMapper.xml文件

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"><mapper namespace="com.heima.wemedia.mapper.WmNewsMapper">    <select id="findListAndPage" resultType="com.heima.model.wemedia.vo.WmNewsVo" parameterType="com.heima.model.admin.dtos.NewsAuthDto">        SELECT            wn.*, wu.`name` authorName        FROM            wm_news wn        LEFT JOIN wm_user wu ON wn.user_id = wu.id        <where>            <if test="dto.title != null and dto.title != ''">                and wn.title like #{dto.title}            </if>        </where>        LIMIT #{dto.page},#{dto.size}    </select>    <select id="findListCount" resultType="int" parameterType="com.heima.model.admin.dtos.NewsAuthDto">        SELECT            count(1)        FROM            wm_news wn        LEFT JOIN wm_user wu ON wn.user_id = wu.id        <where>            <if test="dto.title != null and dto.title != ''">                and wn.title like #{dto.title}            </if>        </where>    </select></mapper>

（3）自媒体端-业务层

修改WmNewsService接口，新增以下方法

/**     * 分页查询文章信息     * @param dto     * @return     */public PageResponseResult findListAndPage(NewsAuthDto dto);/**     * 查询文章详情     * @param id     * @return     */WmNewsVo findWmNewsVo(Integer id);

实现类方法：

@Autowiredprivate WmNewsMapper wmNewsMapper;public PageResponseResult findListAndPage(NewsAuthDto dto){    //1.检查参数    dto.checkParam();    //设置起始页    dto.setPage((dto.getPage()-1)*dto.getSize());    if(StringUtils.isNotBlank(dto.getTitle())) {       dto.setTitle("%" + dto.getTitle() + "%");     }    //2.分页查询    List<WmNewsVo> list = wmNewsMapper.findListAndPage(dto);    //统计多少条数据    int count = wmNewsMapper.findListCount(dto);        //3.结果返回    PageResponseResult responseResult = new PageResponseResult(dto.getPage(),dto.getSize(),count);    responseResult.setData(list);    return responseResult;}@Autowiredprivate WmUserMapper wmUserMapper;@Overridepublic WmNewsVo findWmNewsVo(Integer id) {    //1.查询文章信息    WmNews wmNews = getById(id);    //2.查询作者    WmUser wmUser = null;    if(wmNews!=null && wmNews.getUserId() != null){        wmUser = wmUserMapper.selectById(wmNews.getUserId());    }    //3.封装vo信息返回    WmNewsVo wmNewsVo = new WmNewsVo();    BeanUtils.copyProperties(wmNews,wmNewsVo);    if(wmUser != null){        wmNewsVo.setAuthorName(wmUser.getName());    }    return wmNewsVo;}

（4）自媒体端-控制层

修改WmNewsController类，添加以下方法

@PostMapping("/findList")@Overridepublic PageResponseResult findList(@RequestBody NewsAuthDto dto){    return wmNewsService.findListAndPage(dto);}@GetMapping("/find_news_vo/{id}")@Overridepublic WmNewsVo findWmNewsVo(@PathVariable("id") Integer id) {    return wmNewsService.findWmNewsVo(id);}

3.3 admin端实现

（1）admin端-api接口定义

1 需要分页查询自媒体文章信息，可以根据标题模糊查询

2 当审核通过后，修改文章状态为4

3 当审核驳回后，修改文章状态为3，并且需要说明原因

4 需要根据文章id查看文章的详情

package com.heima.apis.admin;import com.heima.model.admin.dtos.NewsAuthDto;import com.heima.model.common.dtos.ResponseResult;public interface NewsAuthControllerApi {    /**     * 查询自媒体文章列表     * @param dto     * @return     */    public ResponseResult findNews(NewsAuthDto dto);    /**     * 查询文章详情     * @param id     * @return     */    public ResponseResult findOne(Integer id);    /**     * 文章审核成功     * @param dto     * @return     */    public ResponseResult authPass(NewsAuthDto dto);    /**     * 文章审核失败     * @param dto     * @return     */    public ResponseResult authFail(NewsAuthDto dto);}

在NewsAuthDto补充两个属性id和msg

package com.heima.model.admin.dtos;import com.heima.model.common.dtos.PageRequestDto;import lombok.Data;@Datapublic class NewsAuthDto extends PageRequestDto {    /**     * 文章标题     */    private String title;    private Integer id;        /**     * 失败原因     */    private String msg;}

（2）admin端-mapper定义

无

（3）admin端-远程调用接口

在admin端远程接口WemediaFeign中新增如下方法

查看文章列表和查询文章详情，其中审核成功或失败可以调用之前定义好的修改方法updateWmNews()

在查询列表的方法需要通过远程接口进行分页查看，返回值是PageResponseResult对象

@PostMapping("/api/v1/news/findList/")public PageResponseResult findList(NewsAuthDto dto);@GetMapping("/api/v1/news/find_news_vo/{id}")public WmNewsVo findWmNewsVo(@PathVariable("id") Integer id);

（4）admin端-业务层

修改WemediaNewsAutoScanService业务层接口，新增以下方法

/**     * 根据文章标题分页查询自媒体文章列表     * @param dto     * @return     */public PageResponseResult findNews(NewsAuthDto dto);/**     * 根据文章id文章信息     * @param id     * @return     */public ResponseResult findOne(Integer id);/**     * 审核通过或驳回     * @param type  0 为驳回  1位通过     * @param dto     * @return     */public ResponseResult updateStatus(Integer type,NewsAuthDto dto);

实现类方法：

@Overridepublic PageResponseResult findNews(NewsAuthDto dto) {    //分页查询    PageResponseResult responseResult =  wemediaFeign.findList(dto);    //有图片需要显示，需要fasfdfs服务器地址    responseResult.setHost(fileServerUrl);    return responseResult;}@Overridepublic ResponseResult findOne(Integer id) {    //1参数检查    if(id == null){        return ResponseResult.errorResult(AppHttpCodeEnum.PARAM_INVALID);    }    //2查询数据    WmNewsVo wmNewsVo = wemediaFeign.findWmNewsVo(id);    //结构封装    ResponseResult responseResult = ResponseResult.okResult(wmNewsVo);    responseResult.setHost(fileServerUrl);    return responseResult;}@Overridepublic ResponseResult updateStatus(Integer type, NewsAuthDto dto) {    //1.参数检查    if(dto == null || dto.getId() == null){        return ResponseResult.errorResult(AppHttpCodeEnum.PARAM_INVALID);    }    //2.查询文章    WmNews wmNews = wemediaFeign.findById(dto.getId());    if(wmNews == null){        return ResponseResult.errorResult(AppHttpCodeEnum.DATA_NOT_EXIST);    }    //3.审核没有通过    if(type.equals(0)){        updateWmNews(wmNews,(short)2,dto.getMsg());    }else if(type.equals(1)){        //4.人工审核通过        updateWmNews(wmNews,(short)4,"人工审核通过");    }    return ResponseResult.okResult(AppHttpCodeEnum.SUCCESS);}

（5）admin端-控制层

package com.heima.admin.controller.v1;import com.heima.admin.service.WemediaNewsAutoScanService;import com.heima.apis.admin.NewsAuthControllerApi;import com.heima.model.admin.dtos.NewsAuthDto;import com.heima.model.common.dtos.ResponseResult;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.core.annotation.Order;import org.springframework.web.bind.annotation.*;@RestController@RequestMapping("/api/v1/news_auth")public class NewsAuthController implements NewsAuthControllerApi {    @Autowired    private WemediaNewsAutoScanService wemediaNewsAutoScanService;    @PostMapping("/list")    @Override    public ResponseResult findNews(@RequestBody NewsAuthDto dto){        return wemediaNewsAutoScanService.findNews(dto);    }    @GetMapping("/one/{id}")    @Override    public ResponseResult findOne(@PathVariable("id") Integer id){        return wemediaNewsAutoScanService.findOne(id);    }    @PostMapping("/auth_pass")    @Override    public ResponseResult authPass(@RequestBody NewsAuthDto dto){        return wemediaNewsAutoScanService.updateStatus(1,dto);    }    @PostMapping("/auth_fail")    @Override    public ResponseResult authFail(@RequestBody NewsAuthDto dto){        return wemediaNewsAutoScanService.updateStatus(0,dto);    }}

3.4 测试

可打开页面直接测试

4 自媒体端-文章上下架

4.1 思路分析

在自媒体文章管理中有文章上下架的操作，上下架是文章已经审核通过发布之后的文章，目前自动审核文章和人工审核文章都已完成，可以把之前代码补充，使用异步的方式，修改app端文章的配置信息即可。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wFIrdiUN-1627036020497)(assets\1599398923029.png)]

4.2 自媒体文章发消息通知下架

修改WmNewsServiceImpl中的downOrUp方法，发送消息

@Overridepublic ResponseResult downOrUp(WmNewsDto dto) {    //1.检查参数    if(dto == null || dto.getId() == null){        return ResponseResult.errorResult(AppHttpCodeEnum.PARAM_INVALID);    }    //2.查询文章    WmNews wmNews = getById(dto.getId());    if(wmNews == null){        return ResponseResult.errorResult(AppHttpCodeEnum.DATA_NOT_EXIST,"文章不存在");    }    //3.判断文章是否发布    if(!wmNews.getStatus().equals(WmNews.Status.PUBLISHED.getCode())){        return ResponseResult.errorResult(AppHttpCodeEnum.DATA_NOT_EXIST,"当前文章不是发布状态，不能上下架");    }    //4.修改文章状态，同步到app端（后期做）TODO    if(dto.getEnable() != null && dto.getEnable() > -1 && dto.getEnable() < 2){        if(wmNews.getArticleId()!=null){            Map<String,Object> mesMap = new HashMap<>();            mesMap.put("enable",dto.getEnable());            mesMap.put("articleId",wmNews.getArticleId());            kafkaTemplate.send(WmNewsMessageConstants.WM_NEWS_UP_OR_DOWN_TOPIC,JSON.toJSONString(mesMap));        }        update(Wrappers.<WmNews>lambdaUpdate().eq(WmNews::getId,dto.getId()).set(WmNews::getEnable,dto.getEnable()));    }    return ResponseResult.okResult(AppHttpCodeEnum.SUCCESS);}

常量类中定义topic

package com.heima.common.constants.message;public class WmNewsMessageConstants {    public static final String WM_NEWS_UP_OR_DOWN_TOPIC="wm.news.up.or.down.topic";}

4.3 文章微服务

文章微服务需要接收消息

在application.yml文件中添加kafka消费者的配置

kafka:    bootstrap-servers: 192.168.200.130:9092    consumer:      group-id: ${spring.application.name}-kafka-group      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

编写listener，如下：

package com.heima.article.kafka.listener;import com.alibaba.fastjson.JSON;import com.baomidou.mybatisplus.core.toolkit.Wrappers;import com.heima.article.service.ApArticleConfigService;import com.heima.common.constants.message.NewsAutoScanConstants;import com.heima.common.constants.message.WmNewsMessageConstants;import com.heima.model.article.pojos.ApArticleConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.kafka.annotation.KafkaListener;import org.springframework.stereotype.Component;import java.util.Map;import java.util.Optional;@Componentpublic class ArticleIsDownListener {    @Autowired    private ApArticleConfigService apArticleConfigService;    @KafkaListener(topics = WmNewsMessageConstants.WM_NEWS_UP_OR_DOWN_TOPIC)    public void receiveMessage(ConsumerRecord<?,?> record){        Optional<? extends ConsumerRecord<?, ?>> optional = Optional.ofNullable(record);        if(optional.isPresent()){            String value = (String) record.value();            Map map = JSON.parseObject(value, Map.class);            apArticleConfigService.update(Wrappers.<ApArticleConfig>lambdaUpdate()            .eq(ApArticleConfig::getArticleId,map.get("articleId")).set(ApArticleConfig::getIsDown,map.get("enable")));        }    }}

xxlJob定时任务,文章的上下架相关推荐

#博学谷it学习技术支持#kafka及异步通知文章上下架
#博学谷it学习技术支持#kafka及异步通知文章上下架目录: 一.自媒体文章上下架二.Kafka概述三.kafka安装配置四.kafka入门五.kafka高可用设计六.kafka生产者详 ...
商品定时上下架的解决方案
在电商系统中会存在这样一种业务场景,在后端管理系统中设置商品,比如: 在前端H5界面.小程序.APP之类的展示这些已上架的商品对吧, 这样的场景并不一定要求是实时的或者说一定要达到秒级这样的对吧,有个 ...
旺旺打标签标题优化长尾词大词上下架时间销量店铺层级动销率 DSR动态评分想要自然流量，这些点你做到了吗？
我们做店铺,最想要的是什么?毋庸置疑肯定是自然流量.那自然流量是什么? 现在的淘宝基本都是购买过商品的买家,因为每个人的搜索习惯,消费水平,偏向风格,每个买家都会被打好标签,根据分发的流量不同,宝贝不 ...
2022年8月最新运维面试题-服务器上下架流程
四维图新最近的宝马tsp项目招人, 薪资再25k以上,13薪. 学员反馈回来的面试题正在整理中. 其中一个问题:机房设备上下架是个怎么个操作流程? 这个题目的确难住了很多人,我曾经三个人上架近千台服 ...
弘辽科技：淘宝宝贝上下架有哪些规则？该如何优化？
原标题<弘辽科技:淘宝宝贝上下架有哪些规则?该如何优化?> 在淘宝开店成功的卖家们肯定少不了要上下架商品来维持消费者的新鲜感,但是上下架商品是不是可以按自己想法随意来呢?其实淘宝平台对于商 ...
淘宝产品上下架时间对宝贝排名权重影响
要知道由于现如今网购的盛行所以导致现在很多的人都会选择开网店,毕竟有市场生意才能够做起来嘛.那么开网店的话,还是有很多的技巧等着大家来进行发现还有琢磨的,那么淘宝上下架时间对宝贝排名的影响是什么? 首 ...
商品发布:SPU与SKU-新增和修改商品-商品审核与上下架-删除与还原商品-商品列表-页面对接
商品发布 SPU与SKU概念理解 SPU:某一款商品的公共属性 SKU:某款商品的不同参数对应的商品信息[某个商品] 新增商品.修改商品增加:增加SPU和SKU 修改:修改SPU和SKUtb_tem ...
淘宝自动上下架批量操作 python+chrome+selenium
开发环境:python27+chrome+selenium 首先配置好环境,需要的库是selenium,pip安装下即可然后是chrome浏览器,对应chromedriver.exe 按照自己的 ...
淘宝的一键上下架工具怎么批量上传商品的？
淘宝商家日常的商品管理都需要借用到上货软件,能批量上下架商品的软件,毕竟店铺的商品需要不断更换和上新,才能保持每天都有流量进店,现在也快到秋季,商家也该换新款,批量上传商品和下架商品的时候了. 手动上 ...

xxlJob定时任务,文章的上下架

第八章分布式任务调度&人工审核

目标

1 分布式任务调度

2 自媒体文章审核-定时任务扫描待发布文章

2.1 需求分析

2.2 自媒体文章数据准备

2.3 xxl-job调度中心创建调度任务

2.4 xxl-job集成到项目中

2.5 创建调度任务，定时审核

2.6 测试

3 admin端-人工审核文章

3.1 需求分析

3.2 自媒体端实现

3.3 admin端实现

3.4 测试

4 自媒体端-文章上下架

4.1 思路分析

4.2 自媒体文章发消息通知下架

4.3 文章微服务

xxlJob定时任务,文章的上下架相关推荐

最新文章

热门文章

xxlJob定时任务,文章的上下架

第八章 分布式任务调度&人工审核

目标

1 分布式任务调度

2 自媒体文章审核-定时任务扫描待发布文章

2.1 需求分析

2.2 自媒体文章数据准备

2.3 xxl-job调度中心创建调度任务

2.4 xxl-job集成到项目中

2.5 创建调度任务，定时审核

2.6 测试

3 admin端-人工审核文章

3.1 需求分析

3.2 自媒体端实现

3.3 admin端实现

3.4 测试

4 自媒体端-文章上下架

4.1 思路分析

4.2 自媒体文章发消息通知下架

4.3 文章微服务

xxlJob定时任务,文章的上下架相关推荐

最新文章

热门文章

第八章分布式任务调度&人工审核