用Aliyun E-MapReduce集群的sqoop工具和数据库同步数据如何配置网络

2024-05-09 21:36:45

如果您的E-MapReduce集群需要和集群之外的数据库同步数据，需要确保网络是联通的。本文就RDS，ecs自搭，云下私有数据库三种情况，分别介绍如何配置网络。

一.RDS

经典网络RDS

想要访问经典网络RDS，EMR（E-MapReduce，下同)最好也指定用经典网络。

经典网络的RDS 可以设置内网地址和外网地址。由于经典网络EMR集群只有master节点可以访问公网，并且sqoop是用map任务同步数据可能在任意节点上运行，所以sqoop任务需要配置连接RDS的内网地址来连接。另外，需要确保EMR集群的内网ip在RDS白名单里。

图1. RDS内网地址

图2. EMR创建集群指定经典网络类型

VPC网络RDS

如果RDS在VPC网络下，EMR集群也需要指定用VPC网络。最好让EMR集群和RDS在同一个vpc网络内，这样可以直接访问RDS地址。如果在不同的vpc网络下，需要通过高速通道打通网络连接。

图3. EMR创建集群指定VPC网络

二. ecs自建数据库

经典网络

访问经典网络的自建数据库跟经典网络的RDS类似，也需要EMR集群指定使用经典网络，访问自建数据库的内网地址。区别是需要将数据库所在的ecs实例和EMR集群的实例放在一个安全组内。可以在ecs控制台-安全组-管理实例将数据库ecs实例添加进EMR集群的安全组里。

图4. 加入安全组

VPC网络

访问VPC网络的自建数据库跟VPC网络的RDS类似，EMR集群指定使用VPC网络。额外要做的是将数据库ecs实例和EMR集群实例放到同一个安全组里

三. 云下私有数据库

有两种方式访问云下私有数据库，一种是绑定弹性IP（EIP）访问数据库的公网地址,一种是将云下数据库通过高速通道和VPC网络互联

绑定EIP

如果云下私有数据库可以通过公网访问，推荐EMR集群使用VPC网络。

创建一个VPC网络的EMR集群，创建成功后在ecs控制台给集群的每个ecs实例绑定一个EIP，就可以访问私有数据库的公网地址了。绑定的操作方式在ecs控制台-ecs实例后的管理-配置信息-更多-里面选择绑定弹性IP.

图5. 绑定弹性IP

高速通道

如果私有数据库不能在公网暴露，可以创建一个VPC网络类型的EMR集群，通过高速通道连接私有IDC和阿里云上的vpc集群。高速通道详情请参见
高速通道产品文档

用Aliyun E-MapReduce集群的sqoop工具和数据库同步数据如何配置网络相关推荐

给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）...
不多说,直接上干货! 这个很简单,在集群机器里,选择就是了,本来自带就有Impala的. 扩展博客给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 欢迎大 ...
学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控
五.Hadoop配置参数介绍 Hadoop集群配置文件主要有: 它们的默认参数配置可以看: core-default.xml :https://hadoop.apache.org/docs/stabl ...
集群批量管理工具parallel ssh的安装及使用
集群批量管理工具parallel ssh的安装及使用最近为了做实验,需要进行集群的配置,虽然十个节点的集群不算多,但是还是用它来减轻负担.但在使用的过程中,发现网上虽然有资料,但大多都没能很好的解决 ...
hadoop集群搭建修改配置文件（三台主机都要配置）
hadoop集群搭建修改配置文件(三台主机都要配置) master 主机配置 1)hadoop-env.sh vim hadoop-env.sh 2)core-site.xml vim c ...
Elasticsearch04：ES集群监控管理工具-cerebro
一.ES集群监控管理工具-cerebro 为了便于我们管理监控ES集群,推荐使用cerebro这个工具. 二.下载 1.github下载 1:首先到github上下载cerebro的安装包. http ...
Linux企业化运维--(7)redis服务之redis配置及主从复制、主从自动切换、集群、redis+mysql、gearman实现数据同步
Linux企业化运维实验所用系统为Redhat-rhel7.6. 目录 Linux企业化运维 Linux企业化运维--(7)redis服务之redis配置及主从复制.主从自动切换.集群.redis+ ...
Kubernetes之多集群统一管理工具 360-wayne
Kubernetes之多集群统一管理工具 360-wayne 一.wayne安装 1.克隆代码仓库 1.1 代码克隆 1.2 git命令安装 1.3 go命令安装 1.4 代码克隆 2.MySQL服务 ...
DM8守护集群（主备）数据库补丁升级操作
概述本文介绍在测试环境对DM8守护集群数据库补丁升级操作相关内容. 一.升级集群介绍 1.1升级集群架构说明本次升级守护集群架构如下图,有A.B.C三台机器,分别是主库.备库和监视器. 1.2集群 ...
为什么集群要奇数_面试系列 redis数据删除amp;集群
redis数据删除/内存淘汰如果我们设置一批key只能存活1小时,那么1小时之后,redis是怎么对这批数据进行删除的? 答案:定期删数+惰性删除 (1)定期删除指的是redis默认是每隔100m ...

最新文章

热门文章