数据处理——实现数据过滤

实现spring batch中的ItemProcessor接口，并重写接口中的process方法来实现数据过滤。

示例：从一个list源中读取数据，只过滤出与”A”差值大于10的数据。

1、该作业配置如下：

import java.util.Arrays;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.item.ItemProcessor;
import org.springframework.batch.item.ItemReader;
import org.springframework.batch.item.support.ListItemReader;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@EnableBatchProcessing
@Configuration
public class BatchConfig {@Autowiredprivate StepBuilderFactory stepBuilderFactory;@Autowiredprivate JobBuilderFactory jobBuilderFactory;@Value("${spring.batch.chunk.size:3}")private int chunkSize; //5/*1、创建一个Job作业*/@Beanpublic Job itemProcessJob(){return jobBuilderFactory.get("ItemProcessJob").start(chunkStep()).build();}//2、创建一个step*//*list源中存的数据都是String类型的，所以输入是String类型的；过滤出满足条件的数据转化为小写字符，也是String类型，所以输出也是String类型的*/@Beanpublic Step chunkStep(){return stepBuilderFactory.get("chunkStep").<String, String>chunk(chunkSize)   //<String, String>表示输入是String类型，输出是String类型，不加会报错类型不匹配                           .reader(listReader()).processor(itemProcess()).writer(list -> list.forEach(System.out::println)).allowStartIfComplete(true).build();}//读@Beanpublic ItemReader<String> listReader(){return new ListItemReader<>(Arrays.asList("A", "B", "C", "D", "E", "F", "G", "H", "I","J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T"));}//处理@Beanpublic ItemProcessor<String, String> itemProcess(){return new LowerCaseItemProcess();}/*处理程序中，输入的是String类型, 输出的是String类型*/private class LowerCaseItemProcess implements ItemProcessor<String, String>{@Override/*item表示输入的值*/public String process(String item) throws Exception {if (item.compareTo("A") <= 10) {return null;    //返回空}String output = item.toLowerCase(); //把大写字母转化为小写字母return output;      //返回非空结果}}}

运行作业，输出结果如下：

……省略日志
l
m
n
o
p
q
r
s
t

只过滤出了满足条件的数据。

2、如果读取的list数据源中数据改为如下：

//读@Beanpublic ItemReader<String> listReader(){return new ListItemReader<>(Arrays.asList("A", "B", "C", "D", "E", "F", "G", "H", "I","J", "K", "L", "M", "N", "O", "P", "Q", null, "R", "S", "T"));}

在"Q"字符的后面是个null，当spring batch读到此处时就会退出，表示读取完毕。Spring batch读取结束的条件就是null。

重新运行作业，输出日志如下：

……省略日志
l
m
n
o
p
q

数据处理——实现数据过滤相关推荐

pandas 空数据处理和数据过滤
1.pandas数据过滤 import pandas as pd from pandas import DataFrame,Series import numpy as npdict1 = {'age ...
【Android 内存优化】Android 工程中使用 libjpeg-turbo 压缩图片 ( JNI 传递 Bitmap | 获取位图信息 | 获取图像数据 | 图像数据过滤 | 释放资源 )
文章目录一.Bitmap 图像数据处理二.Java 层 Bitmap 对象转为 JNI 层 bitmap 对象三.获取 bitmap 中的图像数据四.过滤 bitmap 中的图像数据 ( 获取 ...
js数据过滤算法搭建
需求描述公司需要搭建一个paas平台兼容所有的硬件,硬件把自己采集到的数据发送到paas平台,paas平台把数据处理之发送到各个服务.很多时候硬件发送的数据量特别大,很多不是我们需要的,这个时候,我 ...
Logstash数据处理服务的过滤插件GeoIP解析IP地址的地理位置
Logstash数据处理服务的过滤插件GeoIP解析IP地址的地理位置文章目录 Logstash数据处理服务的过滤插件GeoIP解析IP地址的地理位置 1.GeoIP解析IP地址的地理位置 2.安装 ...
3-03-1 泰坦尼克号竞赛 - 数据过滤
3.3 数据清洗与合并数据预处理包含了数据清洗 (data cleansing) 与特征工程 (feature engineering) ,本节主要介绍的是数据清洗部份,主要目的是将原始数据转换成整 ...
R行数据过滤基于dplyr包filter函数
R行数据过滤基于dplyr包filter函数目录 R行数据过滤基于dplyr包filter函数筛选等于某个值的行使用与操作筛选行
python与R行列数据过滤（row column filtering）:dplyr、 isnull、isna、drop、select、iloc、loc、isin、filter
python与R行列数据过滤(row column filtering):dplyr. isnull.isna.drop.select.iloc.loc.isin.filter 很多工程师可能刚开始的 ...
Pandas常见的数据过滤方法、通过列条件筛选行数据
Pandas常见的数据过滤方法.通过列条件筛选行数据不废话了,直接看代码吧: 一般情况下,前面5种就覆盖了绝大多数需求 import pandas as pd import numpy as npd ...
Aspose Cells 控件如何实现数据过滤（附代码和下载地址）
Aspose Cells 是一款操作和处理以及转换Excel文件的类库,支持.NET和JAVA版,几乎所有Excel能实现的功能,Aspose Cells都可以实现,在Excel中经常会用到数据过滤, ...

数据处理——实现数据过滤

数据处理——实现数据过滤相关推荐

最新文章

热门文章