spark里的hbase的ImmutableBytesWritable的打印问题scala

ImmutableBytesWritable其实就是hbase把其封装成的rowkey，如果要通过collect算子收集到客户端driver，涉及到序列化的操作：

new SparkConf().set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

接下来如果要打印出rowkey：

hbaseRDD.map {//new String(rowkey.get()),new String(res.getRow)都可以拿到rowkeycase (rowkey, res) => (new String(rowkey.get()),new String(res.getRow))}

即可

spark里的hbase的ImmutableBytesWritable的打印问题scala相关推荐

Spark 下操作 HBase
HBase经过七年发展,终于在今年2月底,发布了 1.0.0 版本.这个版本提供了一些让人激动的功能,并且,在不牺牲稳定性的前提下,引入了新的API.虽然 1.0.0 兼容旧版本的 API,不过还是应 ...
java spark环境配置文件_JAVA, SCALA, HADOOP, SPARK里的JAVA_HOME和环境变量设置
/etc/profile里添加的内容: export JAVA_HOME=/jdk export HADOOP_HOME=/hadoop export SCALA_HOME=/scala export ...
如何设置EXCEL里标题在每页都打印？
如何设置EXCEL里标题在每页都打印? "文件"--"页面设置"--"工作表"--点一下"顶端行标题"的红色小键头--用 ...
IDEA 本地调试spark程序 Exception in thread main java.lang.NoSuchMethodError: scala.collection.immutable.
1.很简单的一测试程序: 2.run运行时:出现ERROR,报错行显示在 new SparkContext 这行. val sc = new SparkContext(conf) Exception ...
spark大批量读取Hbase时出现java.lang.OutOfMemoryError: unable to create new native thread
这个问题我去网上搜索了一下,发现了很多的解决方案都是增加的nproc数量,即用户最大线程数的数量,但我修改了并没有解决问题,最终是通过修改hadoop集群的最大线程数解决问题的. 并且网络上的回答多数 ...
2.4-2.5、Hive整合（整合Spark、整合Hbase）、连接方式Cli、HiveServer和hivemetastore、Squirrel SQL Client等
2.4其它整合 2.4.1Hive整合Spark Spark整合hive,需要将hive_home下的conf下的hive_site.xml放到spark_home下的conf目录下.(3台服务器都做 ...
干货：Spark RDD写入HBase 优化
文章目录一.HBase部分 1-1.hbase.regionserver.handler.count 1-2.压缩 1-3.分裂 1-4.hbase.regionserver.optionallog ...
大数据相关书籍（包含Java, Scala, R, Linux, Spark, Hadoop, Hive, Hbase, Sqoop, Flume, Strom）
下面书单,有一部分英文版原版,当然价格也相对高一点,英文版部分需要在在亚马逊搜索 ,中文版大部分在京东有售! <Hadoop核心技术> 翟周伟著 <Storm分布式实时计算模式 & ...
python使用spark-sql读取数据并可视化_使用Spark SQL读取HBase上的数据
近日,由华为团队开发的 1.基于部分评估技术,该项目具有强大的数据剪枝和智能扫描特点: 2.支持自定义过滤规则.协处理器等以便支持超低延迟的处理: 3.支持SQL.DataFrame: 4.支持更多的 ...

spark里的hbase的ImmutableBytesWritable的打印问题scala

spark里的hbase的ImmutableBytesWritable的打印问题scala相关推荐

最新文章

热门文章