【Kettle学习笔记】从Hbase导入数据至Mysql

1、连接Hadoop集群与MySQL

1-1 下载当前集群的Hbase配置文件

1-2 解压改配置文件至cdh510目录下

1-3 修改D:\kettle\data-integration\plugins\pentaho-big-data-plugin下plugin.properties配置

1-4 在Kettle中配置Hadoop集群

在测试连接后会发现User Home Directory Access 和 Root Directory Access 是报错的，这个可能是因为我们是在非集群的一台主机上操作Hadoop数据，会导致没有权限向Hbase内写入数据，没有尝试出一个确切的解决方案，但是不影响读取Hbase数据，所以这里暂时不管它。（有知道解决办法的大佬的话，求指导~~）

1-5 连接Mysql数据库

2、Kettle流程

2-1 Hbase数据读取

2-2 行列变换

由于Hbase不是关系型数据库，所以我们要将其字段进行行列变换，否则导出数据会如下图所示

选中核心对象——转换——列转行

这里推荐一篇博文，它的示例将列转行这个组件解释得很形象：https://www.cnblogs.com/OliverQin/p/5871330.html

然后对流中字段进行改名，改成与转出Mysql表对应的字段，PS：此处字段对应要准确

2-3 表输出

将数据输出到目标Mysql表内

2-4 运行结果

PS：摸索学习中，欢迎相互讨论和指导~

转载于:https://www.cnblogs.com/AutumnNight/p/10938709.html

【Kettle学习笔记】从Hbase导入数据至Mysql相关推荐

Hadoop学习笔记—15.HBase框架学习（基础知识篇）
Hadoop学习笔记-15.HBase框架学习(基础知识篇) HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase ...
学习笔记（五）——数据适配器、数据表、数据网格视图控件的综合应用。
学习笔记(五)--数据适配器.数据表.数据网格视图控件的综合应用. 1. 批量修改修改包括增加,删除以及更新3个操作,所以声明实力化3个SQL命令分别应用于插入,删除以及修改将声明的SQL命令连 ...
R学习笔记(4): 使用外部数据
来源于:R学习笔记(4): 使用外部数据博客:心内求法鉴于内存的非持久性和容量限制,一个有效的数据处理工具必须能够使用外部数据:能够从外部获取大量的数据,也能够将处理结果保存.R中提供了一系列的函 ...
【Vue】学习笔记-组件传值的数据累加器
[Vue]学习笔记-组件传值的数据累加器前言父级组件购物车组件计数器组件常见错误总结前言组件传值的数据累加器可以分为三个部分 App.vue为父级组件 Carts.vue表示购物车 Co ...
Polyworks脚本开发学习笔记(十九)-将数据对象与参考对象对齐的方法
Polyworks脚本开发学习笔记(十九)-将数据对象与参考对象对齐的方法把开发手册理了一遍,发现还有几个点没有记录下来,其中一个就是使用点对的粗对齐和使用参考目标的精确对齐.为了把这个学习笔记凑够 ...
大数据Hadoop教程-学习笔记01【大数据导论与Linux基础】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程,总时长:14:22:04 教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g,提取码: ...
kettle学习笔记（三）——kettle资源库、运行方式与日志
kettle学习笔记(三)--kettle资源库.运行方式与日志一.kettle资源库资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中. 资源库可以使多用户共享转换任 ...
JavaWeb黑马旅游网-学习笔记05【分类数据展示功能】
Java后端学习路线笔记汇总表[黑马程序员] JavaWeb黑马旅游网-学习笔记01[准备工作] JavaWeb黑马旅游网-学习笔记02[注册功能] JavaWeb黑马旅游网-学习笔记03[登陆和 ...
HALCON 20.11：深度学习笔记(3)---Data（数据）
HALCON 20.11:深度学习笔记(3)---Data(数据) HALCON 20.11.0.0中,实现了深度学习方法.其中,关于术语"数据"的介绍如下: 术语"数据 ...

【Kettle学习笔记】从Hbase导入数据至Mysql

【Kettle学习笔记】从Hbase导入数据至Mysql相关推荐

最新文章

热门文章