hadoop3 禁用ec_Hadoop + Amazon EC2 –更新的教程
hadoop3 禁用ec
在Hadoop的Wiki页面上放置了一个旧教程: http : //wiki.apache.org/hadoop/AmazonEC2 ,但是最近我不得不遵循本教程,并且我注意到它没有涵盖某些Amazon新功能。
建议您已经熟悉Hadoop的基础来学习本教程,可以在Hadoop的主页http://hadoop.apache.org/上找到非常有用的“如何开始”教程。 另外,您必须至少熟悉Amazon EC2内部和实例定义。
当您在Amazon AWS上注册帐户时,您可以运行750小时
t1.micro实例,但不幸的是,您无法在此类计算机上成功运行Hadoop。
在以下步骤中,当命令以$开头时,意味着它应该在本地计算机中执行,而在#EC2实例中以#命令执行。
创建一个X.509证书
由于我们将使用ec2-tools,因此我们在AWS的帐户需要有效的X.509证书:
- 创建.ec2文件夹:
$ mkdir ~/.ec2
- 在AWS上登录
- 选择“安全凭证”,然后在“访问凭证”上单击“ X.509证书”;
- 您有两种选择:
- 使用命令行创建证书:
$ cd ~/.ec2; openssl genrsa -des3 -out my-pk.pem 2048
$ openssl rsa -in my-pk.pem -out my-pk-unencrypt.pem
$ openssl req -new -x509 -key my-pk.pem -out my-cert.pem -days 1095
- 仅在您的机器日期确定的情况下才有效。
- 使用该站点创建证书并下载私钥(请记住将其放在〜/ .ec2中)。
设置Amazon EC2-Tools
- 下载并解压缩ec2-tools;
- 编辑〜/ .profile以导出ec2-tools所需的所有变量,因此您不必在每次打开提示时都这样做:
- 以下是应附加到〜/ .profile文件的示例:
- 导出JAVA_HOME = / usr / lib / jvm / java-6-sun
- 出口EC2_HOME =〜/ ec2-api-tools- *
- 导出PATH = $ PATH:$ EC2_HOME / bin
- 出口EC2_CERT =〜/ .ec2 / my-cert.pem
- 要访问实例,您需要进行身份验证(出于安全方面的明显原因),通过这种方式,您必须创建密钥对(公共密钥和私有密钥):
- 在https://console.aws.amazon.com/ec2/home上,单击“密钥对”,或
- 您可以运行以下命令:
- 以下是应附加到〜/ .profile文件的示例:
$ ec2-add-keypair my-keypair | grep –v KEYPAIR > ~/.ec2/id_rsa-keypair
$ chmod 600 ~/.ec2/id_rsa-keypair
设置Hadoop
下载并解压缩Hadoop后,您必须编辑src / contrib / ec2 / bin / hadoop-ec2-env.sh上的EC2配置脚本。
- AWS变量
- 这些变量与您的AWS账户(AWS_ACCOUNT_ID,AWS_ACCESS_KEY_ID,AWS_SECRET_ACCESS_KEY)相关,可以在您的账户登录时在“安全凭证”中找到。
- 安全变量
- 安全变量(EC2_KEYDIR,KEY_NAME,PRIVATE_KEY_PATH)是与EC2实例的启动和访问有关的变量。
- 选择一个AMI
- 根据要运行的Hadoop版本(HADOOP_VERSION)和实例类型(INSTANCE_TYPE),应使用正确的映像来部署实例:
- 您可以使用许多公共AMI图像(它们必须满足大多数用户的需求)来列出,键入
$ ec2-describe-images -x all | grep hadoop
- 或者,您可以构建自己的映像,然后将其上传到Amazon S3存储桶;
- 选择了将要使用的AMI之后,基本上可以在hadoop-ec2-env.sh上编辑三个变量:
- S3_BUCKET:将要使用的图像(例如hadoop-images)放置在存储桶中,
- ARCH:您选择的AMI映像(i386或x84_64)的体系结构,以及
- BASE_AMI_IMAGE:映射AMI图像的唯一代码,例如ami-2b5fba42。
- 其他可配置变量是JAVA_VERSION,您可以在其中定义将与实例一起安装的版本:
- 您还可以提供二进制文件所在的链接(JAVA_BINARY_URL),例如,如果您具有JAVA_VERSION = 1.6.0_29,则可以使用JAVA_BINARY_URL = http://download.oracle.com/otn-pub/java/ jdk / 6u29-b11 / jdk-6u29-linux-i586.bin。
跑步!
- 您可以将src / contrib / ec2 / bin的内容添加到PATH变量中,以便能够从打开提示的位置运行独立的命令;
- 要启动EC2集群并启动Hadoop,请使用以下命令。 参数是集群名称(hadoop-test)和从站数(2)。 群集启动时,公共DNS名称将被打印到控制台。
$ hadoop-ec2 launch-cluster hadoop-test 2
- 要从“集群”登录主节点,请输入:
$ hadoop-ec2 login hadoop-test
- 登录到主节点后,便可以开始作业:
- 例如,要测试您的集群,您可以运行hadoop * -examples.jar已提供的pi计算:
# cd /usr/local/hadoop-*
# bin/hadoop jar hadoop-*-examples.jar pi 10 10000000
- 您可以通过http:// MASTER_HOST:50030 /查看工作进度。 其中MASTER_HOST是群集启动后返回的主机名。
- 工作完成后,群集仍处于活动状态。 要关闭,请使用以下命令:
$ hadoop-ec2 terminate-cluster hadoop-test
- 请记住,在Amazon EC2中,实例是按小时收费的,因此,如果您只想进行测试,则可以在集群上再玩几分钟。
参考: Hadoop + Amazon EC2 –我们的JCG合作伙伴 Rodrigo Duarte在Thinking Bigger博客上的更新教程 。
翻译自: https://www.javacodegeeks.com/2012/11/hadoop-amazon-ec2-an-updated-tutorial.html
hadoop3 禁用ec
hadoop3 禁用ec_Hadoop + Amazon EC2 –更新的教程相关推荐
- Hadoop + Amazon EC2 –更新的教程
在Hadoop的Wiki页面上放置了一个旧教程: http : //wiki.apache.org/hadoop/AmazonEC2 ,但是最近我不得不遵循本教程,并且我注意到它没有涵盖某些Amazo ...
- Amazon EC2免费一年申请使用图文教程
Amazon EC2免费一年申请使用图文教程 Filed Under: 域名空间 by baiducomru 2010/11/05 千百度记忆角落曾发布过<Amazon免费一年云vps 申请教 ...
- (六)Amazon Lightsail 部署LAMP应用程序之升级到Amazon EC2
升级到Amazon EC2 将Amazon Lightsail实例升级为Amazon EC2 您将进行以下操作: ①创建使用 Amazon RDS的Web前端实例的快照 ②将该快照导出到 Amazon ...
- Win10怎么禁用系统更新服务 Win10禁用系统更新服务教程
win10默认开启了自动更新的功能,通过win10自动更新可以更好的完善win10系统,降低安全风险.不过有网友担心win10更新会与硬件不兼容,想禁用更新服务,因此想了解如何禁用win10自动更新. ...
- php 5.4 aws,使用 Amazon EC2 管理 AWS SDK for PHP 实例 - 适用于 PHP 的 AWS 开发工具包
AWS 文档中描述的 AWS 服务或功能可能因区域而异.要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门. 本文属于机器翻译版本.若本译文内容与英语原文存在差异,则一律以英文原文为准. 使用 ...
- macos远程桌面连接_如何在macOS中使用Microsoft远程桌面连接Amazon EC2
macos远程桌面连接 I created this guide because of an experience I had while teaching. My students needed t ...
- 亚马逊服务器维护,Amazon EC2 维护帮助页面
问:该如何管理自己的实例重启 管理您自己的实例重启非常简单.另请注意,除了下面列出的 AWS 管理控制台操作过程,您还可以从实例的操作系统来重启实例. 登录到 AWS 管理控制台并进入 EC2 选项卡 ...
- 使用Red Hat OS为Amazon EC2实例安装SQL Server Linux
This article installs SQL Server on Linux on the Amazon EC2 instance with Red Hat OS prepared in the ...
- nl-mean程序下载_将MEAN应用程序部署到Amazon EC2(第1部分)
nl-mean程序下载 介绍 (Introduction) As someone who has trudged through many tutorials on the MEAN developm ...
最新文章
- 求高维方阵的绝对值最大特征值的方法:幂法(幂迭代)。
- Netty实现自定义协议
- SOTIF预期功能安全分析方法
- CVS配置过程 (部分转)
- leetcode 786 第K个最小的素数分数
- ASP.NET统计图表控件
- 在注册表里删除没用的服务
- SqlServer2008创建用户及授予权限
- 大牛给计算机专业学生的 7 个建议
- 操作系统15----80386处理器基础
- python怎么过验证,python用户验证怎么弄
- DOS命令关机小程序
- elasticsearch集群管理插件之cerebro安装配置
- 【服务器数据恢复】存储raid5磁盘阵列数据恢复案例
- Python实现检测文件的MD5值来查找重复文件
- 计算机二级vb考试大纲与样卷,全国高校计算机等级考试广西二级VB考试大纲和模拟试卷.doc...
- 慢步人生路,什么是真爱?
- 测试相机的软件叫什么,拍照查花软件叫什么 三款识花神器App评测
- matlab坐标污染物浓度,基于MATLAB城市空气质量评价体系.doc
- 2020-10-05
热门文章
- 一张图搞懂Spring bean的完整生命周期
- Shell入门(六)之算术运算
- 张老师讲Python~
- 今天 ,给大家变个魔术!!!
- 2017 年编程语言排行榜:Python 排第一
- 新闻发布项目——接口类(commentDao)
- React的生命周期(旧)
- 双向链表VS单向链表
- 量子计算机对人类长寿,科学家称“极端长寿”在未来几十年可能会达到新的里程碑...
- org.springframework.uti包下的StringUtils的使用和org.apache.commons.lang包下StringUtils的使用