Java 实现日志文件监听并读取相关数据

项目需求

由于所在数据中台项目组需要实现监听文件夹或者日志文件并读取对应格式的脏数据的需求，以便在文件、文件夹发生变化时进行相应的业务流程；所以在这里记录下相关业务的实现及技术选型。

Apache Commons-IO

首先需要添加对应依赖：

<dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>2.7</version>
</dependency>

版本可自行选择，这里需要注意的是 2.7 版本及以上需要 Java 8

官网截图：

Apache Commos IO中的 org.apache.commons.io.monitor包提供了文件系统监听的功能。

核心知识

一句话总结：通过观察者模式以及事件监听机制，以 FileAlterationObserver 为核心，再通过 FileAlterationListener，FileAlterationMonitor，就可以实现对文件系统的事件监听。
整体流程：

自定义文件监听类并继承 FileAlterationListenerAdaptor 实现对文件与目录的创建，修改，删除事件的处理
自定义文件监控类，通过指定目录创建一个观察者 FileAlterationObserver
向此监视器添加文件系统观察器，并添加文件监听器
通过 ApplicationRunner 或者 CommandLineRunner 调用并执行

代码实现

文件监听类：

/*** 文件监听类* @author Greenarrow* @date 2022-05-12 14:43**/
public class FileListener extends FileAlterationListenerAdaptor {private static Logger logger = LoggerFactory.getLogger(FileListener.class);@Overridepublic void onStart(FileAlterationObserver observer) {super.onStart(observer);logger.info("onStart");}@Overridepublic void onDirectoryCreate(File directory) {logger.info("[新建]:" + directory.getAbsolutePath());}@Overridepublic void onDirectoryChange(File directory) {logger.info("[修改]:" + directory.getAbsolutePath());}@Overridepublic void onDirectoryDelete(File directory) {logger.info("[删除]:" + directory.getAbsolutePath());}@Overridepublic void onFileCreate(File file) {String compressedPath = file.getAbsolutePath();logger.info("[新建]:" + compressedPath);List<String> contentList = null;try {if (file.canRead()){// 将文件按行读取为字符串集合contentList = FileUtils.readLines(new File(compressedPath), StandardCharsets.UTF_8);if (CollectionUtil.isNotEmpty(contentList)){// 获取对应格式的数据并输出，这里可自行添加业务处理List<String> dirtyRecord  = contentList.stream().filter(s -> s.startsWith("{") && s.endsWith("}")).collect(Collectors.toList());dirtyRecord.forEach(System.out::println);}}} catch (IOException e) {e.printStackTrace();logger.error("读取文件内容失败",e);}}@Overridepublic void onFileChange(File file) {String compressedPath = file.getAbsolutePath();logger.info("[修改]:" + compressedPath);}@Overridepublic void onFileDelete(File file) {logger.info("[删除]:" + file.getAbsolutePath());}@Overridepublic void onStop(FileAlterationObserver observer) {super.onStop(observer);logger.info("onStop");}
}

文件监控类：

/*** 文件监听测试 demo* @author Greenarrow* @date 2022-05-12 14:45**/
public class FileMonitor {FileAlterationMonitor monitor = null;public FileMonitor(long interval) throws Exception {monitor = new FileAlterationMonitor(interval);}/*** 给文件添加监听* @param path* @param listener*/public void monitor(String path, FileAlterationListener listener) {FileAlterationObserver observer = new FileAlterationObserver(new File(path));monitor.addObserver(observer);observer.addListener(listener);}public void stop() throws Exception {monitor.stop();}public void start() throws Exception {monitor.start();}
}

自定义 Runner 并实现 CommandLineRunner :

/*** 项目启动之后开启文件监听功能* @author Greenarrow* @date 2022-05-12 10:02**/
@Component
// @Order(Integer.MIN_VALUE)
public class DirtyRecordRunner implements CommandLineRunner {private static Logger logger = LoggerFactory.getLogger(DirtyRecordRunner.class);@Value("${test}")private String path;@Overridepublic void run(String... args) throws Exception {logger.info(this.getClass().getName()+"[开启文件夹监听功能]");FileMonitor fileMonitor = new FileMonitor(1000);fileMonitor.monitor(path,new FileListener());fileMonitor.start();}
}

总结

文件、文件夹监听功能较简单，实现方式可自行选择
需要注意的是，通过 Runner 的方式在项目启动之后开启相关监听功能，此方式存在缺陷，只能调用一次，出现异常就会停止，除非项目重启，这里需要通过相关补偿机制来实现

Java 实现日志文件监听并读取相关数据相关推荐

oracle启动监听读取哪个文件,监听服务启动及数据文件恢复oracle数据库
最近遭遇了 oralce 监听服务启动了又自行关闭的悲惨经历我把我的过程和大家分享一下! 1)排查原因程序员是懒惰的,我始终都希望能够成功启动监听服务,但是就是事与愿违有一下方式可能不能成功 ...
Java 使用Tailer类监听文件
线程创建的三种方式: FileDataListener listener = new FileDataListener(path,this); //使用单线程池线程监听文件 ...
java毕业设计——基于java+Winpcap的局域网监听软件设计与实现（毕业论文+程序源码）——局域网监听软件
基于java+Winpcap的局域网监听软件设计与实现(毕业论文+程序源码) 大家好,今天给大家介绍基于java+Winpcap的局域网监听软件设计与实现,文章末尾附有本毕业设计的论文和源码下载地址哦 ...
java实现全局键盘监听
java实现全局键盘监听 Java本身是无法对桌面进行全局键盘监听的,无法设置全局快捷键,当焦点从java程序面板失去时,自带的监听器就无法监听了,但是比如一些用java写的截图程序是需要全局快捷键操 ...
【java】画图和监听事件的应用
[java]画图和监听事件的应用 (1)frame.getContentPane().add(new Change()); ***用getContentPane()方法获得JFrame的内容面板,再对 ...
common-io-2.0的新功能之文件监控FileAlteration（文件监听的两种实现方法《很全的监听文件例子》）...
common-io-2.0的新功能之文件监控FileAlteration(文件监听的两种实现方法<很全的监听文件例子>) 转载于:https://www.cnblogs.com/rocky ...
Java Swing 键盘事件监听
Java Swing 键盘事件监听开发工具与关键技术:java. elipse2019.jdk1.8 作者:Amewin 撰写时间:2019年9月16日键盘事件的事件源一般丐组件相关,当一个组件处 ...
java存储音频文件及校验与读取
java存储音频文件及校验与读取音频存储为音频流前端部分后端部分音频流转换为文件后端读取音频流-controller 音频存储为音频流前端部分前端html 注意:前端使用的是Angula ...
Day2多种抓包工具介绍以及使用封包监听工具找到挑战数据包实现发送数据包进行挑战
工具相关证书安装指南 Charles https://blog.csdn.net/weixin_45459427/article/details/108393878 Fidder https://bl ...

Java 实现日志文件监听并读取相关数据

Java 实现日志文件监听并读取相关数据

项目需求

Apache Commons-IO

核心知识

代码实现

总结

Java 实现日志文件监听并读取相关数据相关推荐

最新文章

热门文章