环境版本： HDP-2.5.3
注意：HDP中Kafka broker的端口是6667，不是9092
如果只sink到kafka请看这篇：基于HDP使用Flume采集MySQL中数据传到Kafka

前言

有两种方式可以将数据通过flume导入hive中，一是直接sink到hive中，二是sink到hdfs中，然后在hive中建个外部表。直接sink到hive中相对麻烦一些，需要加入需要的jar包，而且hive表需要分桶、开启事务、保存为ORC格式。其实搞清楚了也不麻烦，但是本文中agent.sources.r1.type使用org.keedio.flume.source.SQLSource，传入的字段全变成了加上双引号的字符串，处理起来比较麻烦。所以我最终选用了sink到hdfs中，可以通过OpenCSVSerde去掉双引号。现给出了两种方案，各取所需吧。如有别的方式去掉双引号，欢迎下方留言。

文章目录

前言
1.将所需jar包放入Flume安装目录lib下
2.sink到hdfs
- 2.1 编写mysql_kafka_hdfs.conf
- 2.2 建外部表

基于HDP使用Flume实时采集MySQL中数据传到Kafka+HDFS或Hive相关推荐

基于HDP使用Flume实时采集MySQL中数据传到Kafka
注意:HDP中Kafka broker的端口是6667,不是9092 如有需要请看:基于HDP使用Flume实时采集MySQL中数据传到Kafka+Hive/HDFS 1.将flume-ng-sql- ...
Flume实时采集mysql数据到kafka中并输出
环境说明 centos7 flume1.9.0(flume-ng-sql-source插件版本1.5.3) jdk1.8 kafka 2.1.1 zookeeper(这个我用的kafka内置的zk) ...
采用Flume实时采集和处理数据
它已成功安装Flume在...的基础上.本文将总结使用Flume实时采集和处理数据,详细过程,如下面: 第一步,在$FLUME_HOME/conf文件夹下,编写Flume的配置文件,命名为flume_ ...
基于FPG的温湿度实时采集与显示
AHT10.OLED,Verilog 文章目录前言一.项目介绍二.主要模块分析 1.AHT10 2.OLED 总结前言这是自己一开始做的,可能有很多不对的地方如若不对希望各位大佬能帮忙指出, ...
第二章数据采集模块之FlinkCDC实时采集Mysql业务数据（源码资料见文末）
1.Mysql数据准备 (1)创建实时同步数据库 create database flink_gmall (2)将Mysql.sql文件导入到Mysql中 source /opt/data/Mysql ...
kafka跨库同步mysql表_canal实时同步mysql表数据到Kafka
准备对于自建 MySQL , 需要先开启 Binlog 写入功能,配置 binlog-format 为 ROW 模式,my.cnf 中配置如下 [mysqld] log-bin=mysql-bin ...
Maxwell 配置实时将MySQL数据同步到Kafka
文章目录环境准备安装maxwell 下载地址安装创建元数据存放数据库被同步的数据库上创建用于数据复制的账号,并授权配置mysql同步到kafka任务运行任务全表同步可能遇到的问题 M ...
实时监控Mysql等数据库变化_进行数据同步_了解Maxwell_--MaxWell工作笔记001
1.Maxwell 是一个读取 MySQL binlogs日志,这样就可以知道数据库修改的内容_ 并将修改行字段的更新用json的格式 ,写入 Kafka, Kinesis, RabbitMQ, Go ...
ELK采集MySQL慢日志实现
文章目录一.ELK采集MySQL慢日志架构二.filebeat 三.logstash 四.es+kibana 一.ELK采集MySQL慢日志架构 MySQL 服务器安装 Filebeat 作为 a ...

基于HDP使用Flume实时采集MySQL中数据传到Kafka+HDFS或Hive

前言

文章目录

基于HDP使用Flume实时采集MySQL中数据传到Kafka+HDFS或Hive相关推荐

最新文章

热门文章