kafka to mysql_Flink : kafka to mysql example

mysql的一些命令

show variables like 'character_set_client';#查询字符集

show databases;

create database if not exists test;

drop database test;

show tables from test;

use test;

show tables from test;

mysql建表

DROP TABLE IF EXISTS `record`;

CREATE TABLE `record` (

`id` int(11) unsigned NOT NULL AUTO_INCREMENT,

`channel` varchar(10) COLLATE utf8mb4_bin DEFAULT NULL,

`mobile` varchar(11) COLLATE utf8mb4_bin DEFAULT NULL,

`timestamp` timestamp DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

启动kafka

cd ~/workspace/kafka_2.12-2.1.1

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

bin/kafka-server-start.sh config/server.properties

查看kafka topic列表

bin/kafka-topics.sh --list --zookeeper localhost:2181

启动flink job

KafkaToMysqlTest

发送kafka数据

KafkaSendTest

查询mysql记录

select * from record

发现有数据

kafka to mysql_Flink : kafka to mysql example相关推荐

《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
 前言之前其实在 <从0到1学习Flink>-- 如何自定义 Data Sink ? 文章中其实已经写了点将数据写入到 MySQL,但是一些配置化的 ...
spring boot+kafka+canal实现监听MySQL数据库
spring boot+kafka+canal实现监听MySQL数据库一.zookeeper安装 kafka依赖于zookeeper,安装kafka前先安装zookeeper 下载地址:Apache ...
写入mysql_《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
前言之前其实在 <从0到1学习Flink>-- 如何自定义 Data Sink ? 文章中其实已经写了点将数据写入到 MySQL,但是一些配置化的东西当时是写死的,不能够通用,最近知识星 ...
基于jmx监控kafka_0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安装使用
1.文档编写目的 Fayson在前面的文章介绍了<0374-如何在CDH集群中部署Kafka Manager>,本篇文章Fayson介绍另外一款的监控工具Kafka-eagle,它可以同时 ...
kafka partition java,kafka中partition数量与消费者对应关系以及Java实践
kafka中partition数量与消费者对应关系以及Java实践 kafka中partition数量与消费者对应关系以及Java实践 kafka是由Apache软件基金会开发的一个开源流处理平台.k ...
安装kafka eagle监控kafka集群
安装kafka eagle监控kafka集群 1.下载kafka eagle的压缩包并解压 wget https://github.com/smartloli/kafka-eagle-bin/arch ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十一）NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120master192.168.0.121slave1192.168.0.122 slave2 ...
[异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)
[异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread) 参考文章: ...

kafka to mysql_Flink : kafka to mysql example

kafka to mysql_Flink : kafka to mysql example相关推荐

最新文章

热门文章