spark学习-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询

1.我写了一个程序，读取hbase中的五个表并且做连接查询，在eclise中本地可以直接测试，没有配置文件，直接把hbase和spark的jar包拷贝进去就可以了

package sparlsql.hbase;import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.{TableName, HBaseConfiguration}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}import java.util.Date  object SparkSQLOnHbase {def main(args: Array[String]): Unit = {val starttime=System.nanoTime   // 本地模式运行,便于测试val sparkConf = new SparkConf().setMaster("local&

spark学习-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询相关推荐

spark学习 Java版SparkSQL程序读取Hbase表注册成表SQL查询
参考: spark学习-SparkSQL–11-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询 http://blog.csdn.net/qq_21383435/article ...
spark学习-SparkSQL-java版JavaRDD与JavaPairRDD的互相转换
1.引发:做一个java读取hbase的注册成表的程序.但是读出来的是javaPairRDD,而网上都是javaRDD转成dataFrame,我只能自己摸索怎么转成javaRDD 2.方法 JavaR ...
使用nssm将命令行启动的应用程序(.exe,.bat等)注册成windows后台服务
使用nssm可以将应用程序exe或者bat注册成windows后台服务 1.下载nssm,下载连接:NSSM - the Non-Sucking Service Manager 2.下载nssm之后, ...
震惊！阿里的程序员竟被一个简单的 SQL 查询难住了！
作者 | 唐磊责编 | Carol 来源 | 程序猿石头封图 | CSDN 付费下载于视觉中国最近工作上遇到一个"神奇"的问题,或许对大家有帮助,因此形成本文. 问题大概是, ...
spark学习-JavaRDD注册成表然后用SparkSQL查询
1.先看正确的例子 package com.lcc.spark.rdd.test;import java.io.Serializable;public class Person implements ...
scala从服务器读取文件,学习Scala脚本：从文件里读取行记录
处理琐碎的,每日工作的脚本经常需要处理文件.本节中,你将建立一个从文件中读入行记录,并把行中字符个数前置到每一行,打印输出的脚本.***版展示在代码3.10中: import scala.io.Sou ...
spark学习：java版JavaRDD与JavaPairRDD的互相转换
1.引发:做一个java读取hbase的注册成表的程序.但是读出来的是javaPairRDD,而网上都是javaRDD转成dataFrame,我只能自己摸索怎么转成javaRDD 2.方法 Jav ...
spark学习-53-Spark下Java版HBase下的根据权重获取最真实数据
1.概述 Spark下Scala版HBase下的根据权重获取最真实数据:http://blog.csdn.net/qq_21383435/article/details/78772206 1.我们有一 ...
scala学习-scala读取Hbase表中数据并且做join连接查询
1.业务需求:sparkSQL on hbase ,sparkSQL直接读取Hbase中的两个表,进行连接查询. 2.图示绿色的线上图中绿色的线是做过测试的,直接在hive中建表,然后load数据 ...

spark学习-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询

spark学习-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询相关推荐

最新文章

热门文章