Apache Ranger功能验证

1、概况

1.1、Apache Ambari

Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控。Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。

1.2、Ranger支持的插件

2、功能验证

2.1、hive用户配置过滤策略

2.2、使用hive用户查询过滤结果

2.3、hive用户配置脱敏策略

2.4、使用hive用户查询脱敏结果

2.5、zhangsan用户配置脱敏策略

2.6、使用zhangsan用户查询脱敏结果

3、Ranger集成Presto

3.1、Presto概述

Presto是大数据场景中常用的查询引擎，其采用master- slave架构，支持跨数据源类型查询，支持动态横向扩展，采用了内存并行处理、跨集群节点管线执行、多线程执行模型、高效的扁平内存数据结构、Java字节码生成等技术，来完成分布式数据查询和处理。现已广泛应用于OLAP场景。

3.2、Presto计算引擎架构

3.3、Ranger集成Presto

3.4、公司现状

1、Apache Ambari 2.7.4支持的Ranger版本为1.2，不支持Presto插件。只有升级Ranger 2.X版本才支持Presto，升级会有成本。

2、使用Ranger脱敏后的数据，提供接口服务，会导致Hive连接压力过大的问题。使用连接池的话，会有开发成本。

3.5、解决方案（建议）

1、选择Apache Doris

2、易用性

采用MySQL协议和语法，可以通过各类客户端工具来访问，能过与BI工具无缝对接；

支持多表join，针对不同场景join提供了多种优化方案；

生态扩展完善，离线数据的高效批量导入，流式数据的低延迟实时导入都有很好的支持；

简洁的分布式架构，只有FE、BE两个进程，运行不依赖任何第三方系统；

支持弹性伸缩，对于部署、运维非常友好；

3、性能

MPP架构、高效列式存储引擎；

支持数据的预聚合以及预聚合结果的自动更新；

支持数据的实时更新；

3、性能

MPP架构、高效列式存储引擎；

支持数据的预聚合以及预聚合结果的自动更新；

支持数据的实时更新；

支持高并发查询；

Ranger功能验证相关推荐

Ascend Pytorch算子功能验证
Ascend Pytorch算子功能验证编写测试用例以add算子为例,测试脚本文件命名为:add_testcase.py.以下示例仅为一个简单的用例实现,具体算子的实现,需要根据算子定义进行完整的 ...
18_clickhouse副本同步与高可用功能验证,分布式表与集群配置,数据副本与复制表,ZooKeeper整合,创建复制表,副本同步机制,数据原子写入与去重,负载平衡策略,案例(学习笔记)
24.副本同步与高可用功能验证 24.1.分布式表与集群配置 24.2.数据副本与复制表 24.3.ZooKeeper整合 24.4.创建复制表 24.5.副本同步机制 24.6.数据原子写入与去重 ...
基于ARM IP的看门狗设计与功能验证
看门狗是一个定时器, ARM提供了一个32位向下计数的看门狗IP,它会不断地计数.通过软件可以设置计数值,计数到某一设定值重新开始计数,这一过程也被称为喂狗,如果没有正常喂狗,说明出现系统故障,看门狗 ...
05 占空比可调的整数奇偶分频器设计与功能验证（附源码）
虚拟机:VMware -14.0.0.24051 环境:ubuntu 18.04.1 脚本:makefile(点击直达) 应用工具:vcs 和 verdi 文章目录一.Demand 二.Time ...
Openstack-实践4.Manila 部署及功能验证
1.manila 部署基本环境: kolla-ansible rocky+centos7.4 vim /etc/kolla/globals.yml enable_horizon_manila: & ...
SystemVerilog与功能验证
目录一.功能验证流程二.验证手段.验证技术.验证方法学三.数据类型与编程结构四.并发进程与进程同步五.面向对象编程六.虚接口七.随机测试八.继承与多态九.功能覆盖率十.断言一.功 ...
SDN环境搭建和基本功能验证
sdn环境搭建及基本功能验证 1. 控制器和网络仿真器选择- 3 2. 基本硬件要求- 3 3. 环境和软件要求- 3 4. onos安装说明- 3 4.1. 安装步骤如下- 3 4.1.1. 更新源 ...
迅为STM32MP157开发板入门教程之外设功能验证
一.硬件连接 1 电源的连接请使用开发板自带的 12V 电源连接开发板的 POWER 插座,如图所示. 2 控制台(console)串口使用数据线连接开发板的 J8 到 PC 机的串口,在这里 J ...
6U CPCI平台学习资料第116篇：基于5VLX110T FPGA FMC接口功能验证6U CPCI平台
基于5VLX110T FPGA FMC接口功能验证6U CPCI平台一.板卡概述本板卡是Xilinx公司芯片V5系列芯片设计信号处理板卡.由一片Xilinx公司的XC5VLX110T-1FF113 ...

Ranger功能验证

Apache Ranger功能验证

1、概况

1.1、Apache Ambari

1.2、Ranger支持的插件

2、功能验证

2.1、hive用户配置过滤策略

2.2、使用hive用户查询过滤结果

2.3、hive用户配置脱敏策略

2.4、使用hive用户查询脱敏结果

2.5、zhangsan用户配置脱敏策略

2.6、使用zhangsan用户查询脱敏结果

3、Ranger集成Presto

3.1、Presto概述

3.2、Presto计算引擎架构

3.3、Ranger集成Presto

3.4、公司现状

3.5、解决方案（建议）

1、选择Apache Doris

2、易用性

3、性能

3、性能

Ranger功能验证相关推荐

最新文章

热门文章