oec数据挖掘用到的hbase

初始化数据配置参数接口；

public static DataSource createComboPooledDataSource(
HadJdbcConfig hadJdbcConfig) throws PropertyVetoException {
ComboPooledDataSource cpds = new ComboPooledDataSource();
try {
log.info("JdbcDriverClass:" + hadJdbcConfig.getDriverClass());
log.info("JdbcUrl:" + hadJdbcConfig.getJdbcUrl());
// 配置数据源
cpds.setDriverClass(hadJdbcConfig.getDriverClass());
cpds.setJdbcUrl(hadJdbcConfig.getJdbcUrl());
cpds.setUser(hadJdbcConfig.getUsername());
cpds.setPassword(hadJdbcConfig.getPassword());
cpds.setAcquireRetryAttempts(hadJdbcConfig.getAcquireRetryAttempts());
cpds.setAcquireIncrement(hadJdbcConfig.getAcquireIncrement());
cpds.setAcquireRetryDelay(hadJdbcConfig.getAcquireRetryDelay());
cpds.setAutoCommitOnClose(hadJdbcConfig.getAutoCommitOnClose());
cpds.setMinPoolSize(hadJdbcConfig.getMiniPoolSize());
cpds.setMaxPoolSize(hadJdbcConfig.getMaxPoolSize());
cpds.setInitialPoolSize(hadJdbcConfig.getInitialPoolSize());
cpds.setIdleConnectionTestPeriod(hadJdbcConfig.getIdleConnectionTestPeriod());
cpds.setTestConnectionOnCheckin(hadJdbcConfig.getTestConnectionOnCheckin());
cpds.setBreakAfterAcquireFailure(hadJdbcConfig.getBreakAfterAcquireFailure());
cpds.setMaxIdleTime(hadJdbcConfig.getMaxIdleTime());
log.info("Initialize dbcp initialization success ....");
} catch (PropertyVetoException e) {
e.printStackTrace();
log.fatal("[-1000][数据库连接故障][" + ExceptionUtil.getTrace(e) + "]");
throw e;
}
return (DataSource) cpds;
}

hbase查询和插入

/**
* 全表扫描（方案二）
*
* @param tablename
* @return
*/
public String scaner(String tablename) {
String rowKey; // 行健
String qualifier; // 列
String value; // 值
StringBuffer sbf = new StringBuffer();
boolean flag = true;
SqlDao sqlDao = new SqlDao();
try {
HTable table = new HTable(conf, tablename);
Scan s = new Scan();
s.setMaxVersions(1);
ResultScanner rs = table.getScanner(s);
//遍历所有行
for (Result r : rs) {
// 取出属性名
if (flag) {
int counter=0;
for (Cell cell : r.rawCells()) {

String rowkey = new String(CellUtil.cloneRow(cell))+"\t";
String family = new String(CellUtil.cloneFamily(cell));
String ruleId = new String(CellUtil.cloneQualifier(cell));
if(counter++<1){
sbf.append("rowkey"+"\t");
}

if(!ruleId.equals("data")){
//测试，不对ruleId进行转换
//qualifier = family+":"+ruleId+"\t";
//弃用
//qualifier = family+":"+sqlDao.queryByRuleId(ruleId) + "\t";
qualifier = sqlDao.queryByRuleId(ruleId) + "\t";

}else{
//弃用
//qualifier = family+":"+ruleId+"\t";
qualifier = sqlDao.queryByColumnId(family)+"\t";

}
sbf.append(qualifier);
}
sbf.append("\r\n");
}

// 取出一行的所有列值
int counter = 0;
for (Cell cell : r.rawCells()) {

if(counter++<1){
sbf.append(new String(CellUtil.cloneRow(cell))+"\t");
}
sbf.append(new String(CellUtil.cloneValue(cell)) + "\t");

}
sbf.append("\r\n");
flag = false;
}
} catch (IOException e) {
e.printStackTrace();
}

return new String(sbf);
}

/**
* 插入一行数据到HBase,返回true表示插入成功，返回false表示插入失败
* @param tableName
* @param rowkey
* @param columnFamily
* @param column
* @param value
* @return
*/
public static boolean insertOneRow(String tableName,String rowkey,String columnFamily,String column,String value){
HTable table;
try {
table = new HTable(conf, tableName);
Put put=new Put(Bytes.toBytes(rowkey));
put.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(value));
table.put(put);//放入表
table.close();//释放资源
return true;
} catch (IOException e) {
e.printStackTrace();
return false;
}

}

oec数据挖掘用到的hbase相关推荐

一.hadoop入门须知
目录: 1.hadoop入门须知 2.hadoop环境搭建 3.hadoop mapreduce之WordCount例子 4.idea本地调试hadoop程序 5.hadoop 从mysql中读取数据 ...
2023大数据面试题+附答案
文章目录 1.HDFS面试题50道 HDFS 答案: 2.HIVE面试题50道 HIVE 答案: 3.Spark面试题50道 Spark 答案 4.Spark Streaming面试题50道 Spar ...
JAVA_基础部分_综合篇
JVM (1) 基本概念: JVM是可运行Java代码的假想计算机 ,包括一套字节码指令集.一组寄存器.一个栈.一个垃圾回收,堆和一个存储方法域.JVM 是运行在操作系统之上的,它与硬件没有直接的 ...
HBase in 2013
2013年马上就要过去了,总结下这一年HBase在这么一年中发生的主要变化.影响最大的事件就是HBase 0.96的发布,代码结构已经按照模块化release了,而且提供了许多大家迫切需求的特点.这些 ...
BigData：大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介.核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS.HBase.Hive}+Docker).经典场景应用之详细攻略 BigData:大数 ...
第四章-分布式数据库HBase
第四章-分布式数据库HBase 文章目录第四章-分布式数据库HBase HBase简介 HBase数据模型数据模型概念概念视图物理视图面向列的存储 HBase实现原理 HBase功能组件表 ...
hbase 可视化工具_Hadoop工具TOP 9：
海牛学院的 | 第 570 期本文预计阅读 | 8 分钟大数据的重要性: 大数据在全世界变得越来越流行.零售,媒体,制药等所有垂直行业的公司都在追求这一IT概念.大数据Hadoop工具和技术可帮助 ...
HBase数据迁移到Kafka实战
1.概述在实际的应用场景中,数据存储在HBase集群中,但是由于一些特殊的原因,需要将数据从HBase迁移到Kafka.正常情况下,一般都是源数据到Kafka,再有消费者处理数据,将数据写入HBas ...
中国HBase技术社区第五届MeetUp ——HBase技术解析及应用实践（深圳站）
HBase-Hadoop Database是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统&q ...

oec数据挖掘用到的hbase

oec数据挖掘用到的hbase相关推荐

最新文章

热门文章