欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;

本篇概览

本文是《Flink的sink实战》系列的第二篇,前文《Flink的sink实战之一:初探》对sink有了基本的了解,本章来体验将数据sink到kafka的操作;

全系列链接

  1. 《Flink的sink实战之一:初探》
  2. 《Flink的sink实战之二:kafka》
  3. 《Flink的sink实战之三:cassandra3》
  4. 《Flink的sink实战之四:自定义》

    版本和环境准备

    本次实战的环境和版本如下:

  5. JDK:1.8.0_211
  6. Flink:1.9.2
  7. Maven:3.6.0
  8. 操作系统:macOS Catalina 10.15.3 (MacBook Pro 13-inch, 2018)
  9. IDEA:2018.3.5 (Ultimate Edition)
  10. Kafka:2.4.0
  11. Zookeeper:3.5.5

请确保上述环境和服务已经就绪;

源码下载

如果您不想写代码,整个系列的源码可在GitHub下载到,地址和链接信息如下表所示(https://github.com/zq2599/blog_demos):

这个git项目中有多个文件夹,本章的应用在flinksinkdemo文件夹下,如下图红框所示:

准备完毕,开始开发;

准备工作

正式编码前,先去官网查看相关资料了解基本情况:

  1. 地址:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/connectors/kafka.html
  2. 我这里用的kafka是2.4.0版本,在官方文档查找对应的库和类,如下图红框所示:

    kafka准备

  3. 创建名为test006的topic,有四个分区,参考命令: ```shell ./kafka-topics.sh

--create
--bootstrap-server 127.0.0.1:9092
--replication-factor 1
--partitions 4
--topic test006

2. 在控制台消费test006的消息,参考命令:
```shell
./kafka-console-consumer.sh
--bootstrap-server 127.0.0.1:9092
--topic test006

  1. 此时如果该topic有消息进来,就会在控制台输出;
  2. 接下来开始编码;

    创建工程

  3. 用maven命令创建flink工程: ```shell mvn
    archetype:generate

-DarchetypeGroupId=org.apache.flink
-DarchetypeArtifactId=flink-quickstart-java
-DarchetypeVersion=1.9.2

2. 根据提示,groupid输入<font color="blue">com.bolingcavalry</font>,artifactid输入<font color="blue">flinksinkdemo</font>,即可创建一个maven工程;
3. 在pom.xml中增加kafka依赖库:
```xml
<dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-kafka_2.11</artifactId><version>1.9.0</version>
</dependency>

  1. 工程创建完成,开始编写flink任务的代码;

    发送字符串消息的sink

    先尝试发送字符串类型的消息:

  2. 创建KafkaSerializationSchema接口的实现类,后面这个类要作为创建sink对象的参数使用:
    package com.bolingcavalry.addsink;
    

import org.apache.flink.streaming.connectors.kafka.KafkaSerializationSchema; import org.apache.kafka.clients.producer.ProducerRecord; import java.nio.charset.StandardCharsets;

public class ProducerStringSerializationSchema implements KafkaSerializationSchema {

private String topic;public ProducerStringSerializationSchema(String topic) {super();this.topic = topic;
}@Override
public ProducerRecord<byte[], byte[]> serialize(String element, Long timestamp) {return new ProducerRecord<byte[], byte[]>(topic, element.getBytes(StandardCharsets.UTF_8));
}

}

2. 创建任务类KafkaStrSink,请注意FlinkKafkaProducer对象的参数,FlinkKafkaProducer.Semantic.EXACTLY_ONCE表示严格一次:
```java
package com.bolingcavalry.addsink;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;public class KafkaStrSink {public static void main(String[] args) throws Exception {final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//并行度为1env.setParallelism(1);Properties properties = new Properties();properties.setProperty("bootstrap.servers", "192.168.50.43:9092");String topic = "test006";FlinkKafkaProducer<String> producer = new FlinkKafkaProducer<>(topic,new ProducerStringSerializationSchema(topic),properties,FlinkKafkaProducer.Semantic.EXACTLY_ONCE);//创建一个List,里面有两个Tuple2元素List<String> list = new ArrayList<>();list.add("aaa");list.add("bbb");list.add("ccc");list.add("ddd");list.add("eee");list.add("fff");list.add("aaa");//统计每个单词的数量env.fromCollection(list).addSink(producer).setParallelism(4);env.execute("sink demo : kafka str");}
}

  1. 使用mvn命令编译构建,在target目录得到文件flinksinkdemo-1.0-SNAPSHOT.jar;

  2. 在flink的web页面提交flinksinkdemo-1.0-SNAPSHOT.jar,并制定执行类,如下图:

  3. 提交成功后,如果flink有四个可用slot,任务会立即执行,会在消费kafak消息的终端收到消息,如下图:

  4. 任务执行情况如下图:

    发送对象消息的sink

    再来尝试如何发送对象类型的消息,这里的对象选择常用的Tuple2对象:

  5. 创建KafkaSerializationSchema接口的实现类,该类后面要用作sink对象的入参,请注意代码中捕获异常的那段注释:生产环境慎用printStackTrace()!!!

package com.bolingcavalry.addsink;import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.shaded.jackson2.com.fasterxml.jackson.core.JsonProcessingException;
import org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.ObjectMapper;
import org.apache.flink.streaming.connectors.kafka.KafkaSerializationSchema;
import org.apache.kafka.clients.producer.ProducerRecord;
import javax.annotation.Nullable;public class ObjSerializationSchema implements KafkaSerializationSchema<Tuple2<String, Integer>> {private String topic;private ObjectMapper mapper;public ObjSerializationSchema(String topic) {super();this.topic = topic;}@Overridepublic ProducerRecord<byte[], byte[]> serialize(Tuple2<String, Integer> stringIntegerTuple2, @Nullable Long timestamp) {byte[] b = null;if (mapper == null) {mapper = new ObjectMapper();}try {b= mapper.writeValueAsBytes(stringIntegerTuple2);} catch (JsonProcessingException e) {// 注意,在生产环境这是个非常危险的操作,// 过多的错误打印会严重影响系统性能,请根据生产环境情况做调整e.printStackTrace();}return new ProducerRecord<byte[], byte[]>(topic, b);}
}

  1. 创建flink任务类:
package com.bolingcavalry.addsink;import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;public class KafkaObjSink {public static void main(String[] args) throws Exception {final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();//并行度为1env.setParallelism(1);Properties properties = new Properties();//kafka的broker地址properties.setProperty("bootstrap.servers", "192.168.50.43:9092");String topic = "test006";FlinkKafkaProducer<Tuple2<String, Integer>> producer = new FlinkKafkaProducer<>(topic,new ObjSerializationSchema(topic),properties,FlinkKafkaProducer.Semantic.EXACTLY_ONCE);//创建一个List,里面有两个Tuple2元素List<Tuple2<String, Integer>> list = new ArrayList<>();list.add(new Tuple2("aaa", 1));list.add(new Tuple2("bbb", 1));list.add(new Tuple2("ccc", 1));list.add(new Tuple2("ddd", 1));list.add(new Tuple2("eee", 1));list.add(new Tuple2("fff", 1));list.add(new Tuple2("aaa", 1));//统计每个单词的数量env.fromCollection(list).keyBy(0).sum(1).addSink(producer).setParallelism(4);env.execute("sink demo : kafka obj");}
}

  1. 像前一个任务那样编译构建,把jar提交到flink,并指定执行类是com.bolingcavalry.addsink.KafkaObjSink;
  2. 消费kafka消息的控制台输出如下:
  3. 在web页面可见执行情况如下:
    至此,flink将计算结果作为kafka消息发送出去的实战就完成了,希望能给您提供参考,接下来的章节,我们会继续体验官方提供的sink能力;

欢迎关注公众号:程序员欣宸

微信搜索「程序员欣宸」,我是欣宸,期待与您一同畅游Java世界... https://github.com/zq2599/blog_demos

kafka 的pom文件_Flink的sink实战之二:kafka相关推荐

  1. kafka maven 依赖_Flink的sink实战之二:kafka

    本文是<Flink的sink实战>系列的第二篇,<Flink的sink实战之一:初探>对sink有了基本的了解,本章来体验将数据sink到kafka的操作: 版本和环境准备 本 ...

  2. kafka 的pom文件_Flink 消费 Kafka 数据

    kafka核心概念: Kafka 是一个消息队列,生产者向消息队列中写入数据,消费者从队列中获取数据并进行消费.可以认为一个 Topic 就是一个队列,每个 Topic 又会被分成多个 Partiti ...

  3. kafka 的pom文件_基于SparkStreaming+Kafka+HBase实时点击流案例

    大数据技术与架构点击右侧关注,大数据开发领域最强公众号! 暴走大数据点击右侧关注,暴走大数据! 背景 Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据,并作为消息缓冲组件为上游实时 ...

  4. kafka 不同分区文件存储_大白话 + 13 张图解 Kafka

    前言 应大部分的小伙伴的要求,在Yarn之前先来一个kafka的小插曲,轻松愉快. 一.Kafka基础 消息系统的作用 应该大部份小伙伴都清楚,用机油装箱举个例子 所以消息系统就是如上图我们所说的仓库 ...

  5. kafka 不同分区文件存储_Kafka深入理解-1:Kafka高效的文件存储设计

    Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消 ...

  6. Flink的sink实战之一:初探,2020-2021蚂蚁金服Java面试真题解析

    关于<Flink的sink实战>系列文章 本文是<Flink的sink实战>的第一篇,旨在初步了解sink,通过对基本API和addSink方法的分析研究,为后续的编码实战打好 ...

  7. flink读取不到文件_Flink流处理API——Source

    本文主要从以下几个方面介绍Flink的流处理API--Source 一.从集合中读取数据 二.从文件中读取数据 三.从Kafka中读取数据 四.自定义Source 数据处理的过程基本可以分为三个阶段分 ...

  8. springboot pom文件指定jdk_Spring Boot 入门

    SpringBoot 基本应用 约定优于配置 约定优于配置(Convention over Configuration),又称按约定编程,是一种软件设计范式. 本质上是说,系统.类库或框架应该假定合理 ...

  9. kafka控制台模拟消费_Flink初试——对接Kafka

    本篇文章我们用 Flink Kafka Connector对接Kafka,实现一个简单的报警业务.我们暂时不去谈论理论,先上手实现这个简单的需求. flink-connector-kafka是 fli ...

最新文章

  1. jumpserver 使用教程_jumpserver安装及使用教程
  2. JavaScript实现 按钮不可过频繁使用
  3. 计算机视觉顶会CVPR2020接收论文列表已公布,1470篇上榜, 你的paper中了吗?
  4. mariadb导入sql数据_「译」关系型数据库介绍
  5. 2021CCPC华为云挑战赛:HDU 7091 重叠的子串(SAM + 线段树合并)
  6. poj 2385Apple Catching(简单dp)
  7. SQL SERVER 2005 显示行号
  8. python循环结构高一信息技术_2019-2020学年度高一信息技术期末考试明白纸
  9. 机器人拉格朗日动力学应用公式详解
  10. 5000头奶牛的数字化之旅
  11. 码农枪击了 4 名同事后被警方击毙!后附“程序员保命指南”
  12. 怎样制作CHM格式的电子书?
  13. android远程主机强迫关闭了一个现有的连接,远程主机强迫关闭了一个现有的连接解决方法...
  14. 51单片机PWM调速风扇转速显示转速设置
  15. 一文带你学明白java虚拟机:C1编译器,HIR代码优化
  16. CMOS反相器版图设计
  17. kafka topic消息分配partition规则
  18. ubuntu18.04 快速搭建 Hyperledger Fabric超级账本框架
  19. android手机迁移,换手机不用愁,一分钟告诉你如何将手机数据快速迁移!
  20. 爬取起点网站图书信息(书名、作者、简介、图片url)

热门文章

  1. vector中resize()和reserve()区别
  2. python plt 批量修改全局样式
  3. numpy.outer
  4. numpy: np.random.get_state()
  5. document.ready和window.onload
  6. oracle 结构化语言查询 DML DDL DCL
  7. Codeforces 869C The Intriguing Obsession
  8. .NET CORE——Console中使用依赖注入
  9. mysql中添加中文存储和显示功能
  10. 文本框输入限制正则表达式收集