NIFI从mysql导入Hbase

端口是自定义的

http://desktop:9091/nifi/

mysql数据集准备以[2]为准

需要提前在hbase中建立好数据库:

hbase>create "book","information"

mysql设置:

然后点击齿轮,填写表格如下:

Database Connection URL	jdbc:mysql://localhost:3306/sqoop_hbase?useUnicode=true&characterEncoding=utf8&useSSL=true
Database Driver Class Name	com.mysql.jdbc.Driver
Database Driver Location(s)	/home/appleyuchi/bigdata/apache-hive-3.0.0-bin/lib/./mysql-connector-java-8.0.20.jar
Database User	appleyuchi
Password	appleyuchi

填写完后点击闪电符号生效

数据流程思路:

从ExecuteSQL里出来的是avro格式的数据，要先将其转化成json格式，再导入HBase。拖一个ConvertAvroToJson Processor到界面。然后，从ExecuteSQL连一条线到ConvertAvroToJson，关系为success。

需要在界面设置好hbase的表格名，列簇和主键

最终框架如下:

上述mysql到hbase的NIFI完整详细配置文件在:

https://gitee.com/appleyuchi/cluster_configuration/tree/master/spark3.0.0-hadoop3.2.1%E7%A6%BB%E7%BA%BF%E5%A4%9A%E6%9C%BA%E9%9B%86%E7%BE%A4%E9%85%8D%E7%BD%AE-%E5%AE%8C%E6%88%90/NIFI%E6%95%B0%E6%8D%AE%E6%B5%81%E9%85%8D%E7%BD%AE

最后start即可，start后，数据是实时从mysql同步到hbase的，

在hbase中

scan 'book'

就可以看到导入的进度。

如果此时在mysql增加一条数据，那么过一会儿就可以在hbase中看到。

整个NIFI一旦start以后，是不会自己停止的，会时刻监控mysql新增的数据。

Reference:

[1]使用NiFi将数据从Mysql导入至HBase

[2]sqoop把mysql数据导入hbase-完整记录

NIFI从mysql导入Hbase相关推荐

数据导入HBase最常用的三种方式及实践分析
要使用Hadoop,数据合并至关重要,HBase应用甚广.一般而言,需要针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase中. 常见方式为:1.使用HBase的API中的Put ...
大数据案例——Hive、MySQL、HBase数据互导
本文是基于教程大数据案例--本地文件上传hive数据库,对数据在Hive,MySQL,HBase之间的互导进行进阶版的学习.数据集:淘宝用户点击商品操作数据集,共30万条记录.如果没有安装MySQL, ...
大数据基础（二）hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装和sqoop与hdfs,hive,mysql导入导出
hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装 2016.05.15 本文测试环境: hadoop2.6.2 ubuntu 14.04.04 ...
sqoop将hbase数据导入mysql_Sqoop将mysql数据导入hbase的血与泪
Sqoop将mysql数据导入hbase的血与泪(整整搞了大半天) 版权声明:本文为yunshuxueyuan原创文章. 如需转载请标明出处: https://my.oschina.net/yunsh ...
分布式爬虫系统设计、实现与实战：爬取京东、苏宁易购全网手机商品数据+MySQL、HBase存储...
http://blog.51cto.com/xpleaf/2093952 1 概述在不用爬虫框架的情况,经过多方学习,尝试实现了一个分布式爬虫系统,并且可以将数据保存到不同地方,类似MySQL.HB ...
数据库：MySQL、HBase、ElasticSearch三者对比
1.概念介绍 MySQL:关系型数据库,主要面向OLTP,支持事务,支持二级索引,支持sql,支持主从.Group Replication架构模型(本文全部以Innodb为例,不涉及别的存储引擎). ...
从mysql向HBase+Phoenix迁移数据的心得总结
* 转载请注明出处 - yosql473 - 格物致知,经世致用 mysql -> HBase + Phoenix 1.总体方案有哪些? 1)通过Sqoop直接从服务器(JDBC方式)抽取数据到 ...
hbase hfile java_通过生成HFile导入HBase
要实现DataFrame通过HFile导入HBase有两个关键步骤第一个是要生成Hfile 第二个是HFile导入HBase 测试DataFrame数据来自mysql,如果对读取mysql作为Dat ...
mongodb数据导入hbase,spark读取hbase数据分析
为什么80%的码农都做不了架构师?>>> 使用mavn管理相关依赖包pom.xml <project xmlns="http://maven.apache.or ...

NIFI从mysql导入Hbase

NIFI从mysql导入Hbase相关推荐

最新文章

热门文章