Sentry ： Spark-sql 读取hive数据权限问题

经测试Spark-sql 只支持Sentry表、库权限，不支持Sentry 对Hive列权限读的控制，设置列权限读，Spark-sql是无权限读取的

对hive表某一列有读权限设置

代码如下，jast_column用户有对hive表test的s2列读权限，这里使用spark1.6举例

val conf = new SparkConf().setAppName("test")val sc = new SparkContext(conf)val sqlContext = new HiveContext(sc)sqlContext.sql("""| select s2|   from test|  limit 10""".stripMargin).show()

Spark启动报错如下

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=jast_column, access=READ_EXECUTE, inode="/user/hive/warehouse/test":hive:hive:drwxrwx--x

如果授权给jast_column 表的读权限就可以正常返回

+-------+-------+
|     s1|     s2|
+-------+-------+
|      a|      b|
|      1|      2|
|      2|    333|
|test111|test000|
| test44| test55|
|test111|test000|
+-------+-------+

Sentry ： Spark-sql 读取hive数据权限问题相关推荐

使用Spark SQL读取Hive上的数据
Spark SQL主要目的是使得用户可以在Spark上使用SQL,其数据源既可以是RDD,也可以是外部的数据源(比如Parquet.Hive.Json等).Spark SQL的其中一个分支就是Spar ...
spark sql读取hive底层_scala – 从一个hive表中读取并使用spark sql写回来
我正在使用Spark SQL读取Hive表并将其分配给 scala val val x = sqlContext.sql("select * from some_table") 然 ...
Spark教程——（10）Spark SQL读取Phoenix数据本地执行计算
添加配置文件 phoenixConnectMode.scala : packagestatistics.benefitsimportorg.apache.hadoop.conf.Configurati ...
spark sql读取hive底层_[大数据]spark sql读写Hive数据不一致
在大数据公司中,任何一家公司都不会只使用一个框架吧?! skr,skr~~ 那我们今天就来聊一段 Hive 与 Spark的爱恨情仇就像在一些场景中,需要将外部的数据导入到Hive表中,然后再对这 ...
spark.sql读取Hive数据报错
将hive -> conf -> hive-site.xml 文件复制到 spark -> conf 文件夹下 mysql-connector-java-5.1.25.jar 复制 ...
Spark读取Hive数据的两种方式与保存数据到HDFS
Spark读取Hive数据的两种方式与保存数据到HDFS Spark读取Hive数据的方式主要有两种 1. 通过访问hive metastore的方式,这种方式通过访问hive的metastore元数 ...
Spark SQL读取Oracle的number类型的数据时精度丢失问题
Spark SQL读取Oracle的number类型的数据时精度丢失问题在程序开发中,使用到了sparkSQL读取Oracle数据库,发现当sparkSQL读取Oracle的number类型字段时, ...
Spark SQL 加载数据
第一种方式:Spark SQL可以将数据文件加载成RDD方式,然后将RDD转成DataFrame或者DataSet. 第二种方式:从本地或者Cloud(hdfs hive S3等) 将文件加载成RDD ...
spark SQL读取ORC文件从Driver启动到开始执行Task(或stage)间隔时间太长（计算Partition时间太长）且产出orc单个文件中stripe个数太多问题解决方案...
1.背景: 控制上游文件个数每天7000个,每个文件大小小于256M,50亿条+,orc格式.查看每个文件的stripe个数,500个左右,查询命令:hdfs fsck viewfs://hadoop ...

Sentry ： Spark-sql 读取hive数据权限问题

Sentry ： Spark-sql 读取hive数据权限问题相关推荐

最新文章

热门文章

Sentry ： Spark-sql 读取hive数据 权限问题

Sentry ： Spark-sql 读取hive数据 权限问题相关推荐

最新文章

热门文章

Sentry ： Spark-sql 读取hive数据权限问题

Sentry ： Spark-sql 读取hive数据权限问题相关推荐