Hadoop集群中数据传输（涉及两个集群是非kerberos认证）

在两个集群中数据迁移的事情在前面的过程中，
已经有了详细的介绍，这里是涉及外部的理论，
具体需要迁移的机器的配置，关注之前的博客

1、在非kerberos认证的集群中

distcp hdfs://IP:8020/xxx hdfs://IP:8020/xxx/

2、在kerberos与非kerberos集群中

配置core-site.xml 需降低安全配置；

ipc.client.fallback-to-simple-auth-allowed true

重启集群
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://xxx:50070/user/hive/warehouse/xxx /user/hive/warehouse/xxx/

从认证集群往非认证集群迁移，这个配置，不配置也是可以的

其中50070端口为namenode web UI端口

3、在kerberos与kerberos集群中

需要配置kerberos认证，我这边暂时没用，直接将数据导入本地，scp传输

这里如果是hdfs文件的话，是需要拷贝到本地的，然后在用scp进行传输的

这个是ok的，但是对于大量的数据的话，是需要kerberos互信，或者关闭目标集群的kerberos

Hadoop集群中数据传输（涉及两个集群是非kerberos认证）相关推荐

distcp用于集群中数据传输解读
distcp用于集群中数据传输解读 Java API等多种接口对HDFS访问模型都集中于单线程的存取,如果要对一个文件集进行操作,就需要编写一个程序来执行并行操作.HDFS提供了一个非常实用的程序–d ...
oracle 函数结果集,Oracle 中函数如何返回结果集
在Oracle中,用函数返回结果集有时候要用到,下面是demo: 在Oracle中,用函数返回结果集有时候要用到,,下面是demo: create or replace type t_test as ...
java中什么是结果集,Java中对数据库查询结果集进行操作的对象是()
[单选题]The cost of insurance and taxes are included in [判断题]大写锁定键Capslock不仅对字母键起作用. [判断题]音乐中表达调高的符号就是调 ...
php处理结果集,php中mysqli 处理查询结果集的几个方法
最近对php查询mysql处理结果集的几个方法不太明白的地方查阅了资料,在此整理记下 Php使用mysqli_result类处理结果集有以下几种方法 fetch_all() 抓取所有的结果行并且以关联 ...
配置两个Hadoop集群Kerberos认证跨域互信（两个集群互通）
配置两个Hadoop集群Kerberos认证跨域互信两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Had ...
HADOOP实践101：在Hadoop集群中添加机器和删除机器
无论是在Hadoop集群中添加机器和删除机器,都无需停机,整个服务不中断. 本次操作之前,Hadoop的集群情况如下: HDFS的机器情况如下: MR的机器情况如下: 添加机器在集群的Master机 ...
高可用集群中的选举机制
2019独角兽企业重金招聘Python工程师标准>>> 一个高可用的集群里,一般都会存在主节点的选举机制.这里以elasticsearch集群为例,介绍一下集群的节点选举方法. 如果 ...
在 Kubernetes 集群中使用 MetalLB 作为 LoadBalancer（下）
作者 | Addo Zhang 来源 | 云原生指北在上一篇<在 Kubernetes 集群中使用 MetalLB 作为 LoadBalancer(上)>中,我们使用 MetalLB 的 ...
在 Kubernetes 集群中使用 MetalLB 作为 LoadBalancer（下）- BGP
在上一篇<在 Kubernetes 集群中使用 MetalLB 作为 LoadBalancer(上)>中,我们使用 MetalLB 的 Layer2 模式作为 LoadBalancer 的 ...

Hadoop集群中数据传输（涉及两个集群是非kerberos认证）

1、在非kerberos认证的集群中

2、在kerberos与非kerberos集群中

3、在kerberos与kerberos集群中

Hadoop集群中数据传输（涉及两个集群是非kerberos认证）相关推荐

最新文章

热门文章