flink增量读文本数据

如下代码可以实现增量从文件地址读数据，读完一次之后，若你对文件增加了数据，它会相应的读出来。

方法内有三个属性,分别是WatchType.ONLY_NEW_FILES：处理整个文件，PROCESS_ONLY_APPENDED只处理相应的增加部分，REPROCESS_WITH_APPENDED ：当文件内容增加了之后会重新处理整个文件。

在新的flink版本里面，只有两种模式了：PROCESS_ONCE以及PROCESS_CONTINUOUSLY.分别对应处理一次以及增量处理。

大家可以根据自己的需求选择模式。

import org.apache.flink.api.common.typeinfo.BasicTypeInfo;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.io.TextInputFormat;
import org.apache.flink.core.fs.Path;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.FileProcessingMode;/*** Created by master on 8/17/17.*/
public class read_append_text {public static void main(String[] args) throws Exception {Path pa=new Path("/home/master/qingshu");TextInputFormat format = new TextInputFormat(pa);BasicTypeInfo typeInfo = BasicTypeInfo.STRING_TYPE_INFO;format.setCharsetName("UTF-8");StreamExecutionEnvironment env=StreamExecutionEnvironment.getExecutionEnvironment();DataStream<String> st=env.readFile(format,"/home/master/qingshu", FileProcessingMode.PROCESS_CONTINUOUSLY, 1L,(TypeInformation)typeInfo);st.print();env.execute();}}

flink增量读文本数据相关推荐

Matlab从txt第二行开始读,MATLAB小技：从文本数据第n行开始读取
因为文本数据中第一行会有留白,很多人介绍的方法都是手工删除前面的空白或空白和文字.个人觉得比较麻烦.其实如果在MATLAB中可以用 textread命令来控制从第N行开始读取数据.比如输出的原始数据, ...
计算机程序数据随机变化,计算机程序编程课程设计报告(马尔可夫链算法生成随机可读文本)...
<计算机程序编程课程设计报告(马尔可夫链算法生成随机可读文本)>由会员分享,可在线阅读,更多相关<计算机程序编程课程设计报告(马尔可夫链算法生成随机可读文本)(15页珍藏版)> ...
【论文泛读62】HybridQA：通过表格和文本数据进行多跳问答的数据集
贴一下汇总贴:论文阅读记录论文链接:<HybridQA: A Dataset of Multi-Hop Question Answering over Tabular and Textual ...
【荐读】基于文本数据的消费者洞察
作者介绍 @edan 前商业数据分析师,现 TMD 数据产品经理. 期望和数据小伙伴一起做些有意思的事情- 01 什么是消费者洞察? 随着社会的发展,中国消费者所处环境在变,消费观念也在变:大家从应付 ...
Flink 如何实时分析 Iceberg 数据湖的 CDC 数据
简介:数据湖的架构中,CDC 数据实时读写的方案和原理本文由李劲松.胡争分享,社区志愿者杨伟海.李培殿整理.主要介绍在数据湖的架构中,CDC 数据实时读写的方案和原理.文章主要分为 4 个部分内容: ...
基于流计算 Oceanus（Flink） CDC 做好数据集成场景
作者:黄龙,腾讯 CSIG 高级工程师数据时代,企业对技术创新和服务水准的要求不断提高,数据已成为企业极其重要的资产.无论是在在企业数据中台的建设,亦或者是打造一站式数据开发和数据治理的PASS平台 ...
腾讯云 AI 视觉产品基于流计算 Oceanus（Flink）的计费数据去重尝试
| 导语: 介绍下最近使用 Flink 来对计费数据进行去重的具体做法一. 背景 AI 视觉产品在我们腾讯云-人工智能的产品目录下,包括人脸识别.人脸特效.人脸核身.图像识别.文字识别等. 流计算 ...
8W+文本数据，全景式展现中国教育发展情况
来源:兴富同学本文约5800字,建议阅读8分钟. 本文介绍了通过文本数据分析,全方面展示了中国教育发展的情况. 前面使用爬虫的方法动态获取了教育资讯,完成之后就会很自然就会想,能不能把所有的文本都获 ...
独家 | 文本数据探索性数据分析结合可视化和NLP产生见解（附代码）
作者:Susan Li 翻译:吴金笛校对:和中华本文约5000字,建议阅读12分钟. 本文使用电子商务的评价数据集作为实例来介绍基于文本数据特征的数据分析和可视化. 作为数据科学家或NLP专家,可 ...

flink增量读文本数据

flink增量读文本数据相关推荐

最新文章

热门文章