MapReduce on Hbase
org.apache.hadoop.hbase.mapreduce
TableMapper TableReducer
一个region对应一个map
import java.io.IOException;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Mutation;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Reducer;public class HbaseMR {public class MyMapper extends TableMapper<Text, Text> {@Overrideprotected void map(ImmutableBytesWritable key, Result value,Context context) throws IOException, InterruptedException {// key代表rowkeyText k = new Text(Bytes.toString(key.get()));Text v = new Text(Bytes.toString(value.getValue("basicinfo".getBytes(), "age".getBytes())));context.write(v, k);}}public class MyReducer extends TableReducer<Text, Text, Text> {@Overrideprotected void reduce(Text key, Iterable<Text> values, Context context)throws IOException, InterruptedException {Put put = new Put(Bytes.toBytes(key.toString()));for (Text value : values) {put.add(Bytes.toBytes("f1"), Bytes.toBytes(value.toString()),Bytes.toBytes(value.toString()));}context.write(null, put);}}public static void main(String[] args) {Configuration conf= HBaseConfiguration.create();try {Job job=new Job(conf, "mapreduce on hbase");job.setJarByClass(HbaseMR.class);Scan scan=new Scan();scan.setCaching(1000);//TableMapReduceUtil.initTableMapperJob("students", scan, MyMapper.class, Text.class, Text.class, job);TableMapReduceUtil.initTableReducerJob("student-age", MyReducer.class, job);job.waitForCompletion(true);} catch (Exception e) {e.printStackTrace();}}}
本文出自 “点滴积累” 博客,请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1699284
MapReduce on Hbase相关推荐
- java mapreduce 读hbase数据 写入hdfs 含maven依赖
mapreduce 读hbase数据 写入hdfs java代码如下 import com.google.common.collect.Lists; import java.io.FileInputS ...
- 五十三、通过MapReduce实现HBase操作
通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将HBase表中的数据拷贝到另外一张表.本文我们通过两个案例来进行实操一下,关注专 ...
- HBase学习(5)-MapReduce操作HBase
原文来自:扎心了,老铁的<HBase学习之路 (五)MapReduce操作Hbase>
- MapReduce操作HBase
运行HBase时常会遇到个错误,我就有这样的经历. ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times ...
- 在cdh5.1.3中在mapreduce使用hbase
环境:centos6.5 .cdh5.1.3 一.hadoop命令找不到hbase相关类 (一)观察hadoop classpath的输出: 1,classpath包含了/etc/hadoop/con ...
- 从零开始大数据--Hadoop、HDFS、MapReduce、HBase、Hive
文章目录 概述 Hadoop HDFS HBase 实现原理 Regin服务器原理 HBase安装与使用 NoSQL数据库 MapReduce Hive 概述 IT领域每隔十五年就会迎来一次重大变革: ...
- 基于MapReduce的HBase开发(续)
示例 代码: import java.io.ByteArrayOutputStream; import java.io.DataOutputStream; import java.io.IOExcep ...
- HBase常用功能和HBase+MapReduce使用总结
1.HBase如果加了列限定,如果该列不存在时返回的结果为empty. 2.HBase在scan时指定的StartRow里面不能加- 3.HBase在scan时过滤掉指定列不存在的记录 4.利用Map ...
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
编者按:HDFS和MapReduce是Hadoop的两大核心,除此之外Hbase.Hive这两个核心工具也随着Hadoop发展变得越来越重要.本文作者张震的博文<Thinking in BigD ...
最新文章
- Linux下的一个图形管理工具webmin
- SD-WAN为企业业务出海提供网络保障
- 【Java框架】 Hibernate与Mybatis对比
- Java web应用引用外部jar包 运行时报ClassNotFoundException 解决方法
- 2021年零基础带你走进nacos的世界之云服务器下载安装nacos-小白教程,详细到爆了!
- 给Angular初学者介绍一个非常方便的例子学习网站
- junit数据驱动测试_使用Junit和Easytest进行数据驱动的测试
- Spring的依赖注入陷阱
- 对于 Netty ByteBuf 的零拷贝(Zero Copy) 的理解
- 利用 jQuery 克隆 Object
- nolo手柄配对不上_nolo手柄连接不上
- memcached php 测试,php一致性hash性能测试(flexihash/memcache/memcached)
- 【RobotStudio学习笔记】(五)工具数据
- 【求助】C# Charting控件 画散点图,当所有的点X=0时,X轴的位置画错了,代码如下...
- 电脑计算机显示向程序发送命令时出现问题,Win7系统Excel向程序发送命令时出现错误怎么解决?...
- -bash: wget: 未找到命令
- 下雨天,走一段路,是走淋雨少还是跑
- 英飞凌 AURIX TC3XX 系列单片机的链接文件
- Jenkins 凭据密码忘记获取凭据密码
- 语音识别芯片LD3320介绍