cdh必须要在root用户搭建吗_基于cloudera CDH5的环境搭建
配置hadoop。
在master上操作以下步骤。
1、将hadoop-2.3.0-cdh5.0.0-src.tar.gz解压到/usr/cdh下,配置HADOOP_HOME环境。修改/etc/profile文件,添加export HADOOP_HOME=/usr/cdh/hadoop-2.3.0-cdh5.0.0,在export PATH下添加$HADOOP_HOME/bin:$HADOOP_HOME/sbin的配置;
2、修改$HADOOP_HOME/etc/hadoop下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个配置文件。
core-site.xml
io.native.lib.available
true
fs.default.name
hdfs://master:9000
The name of the default file system.Either the literal string "local" or a host:port for NDFS.
true
hadoop.tmp.dir
/tmp/hadoop/hadoop-hadoop
hdfs-site.xml
dfs.namenode.name.dir
/usr/cdh/hadoop/dfs/name
Determines where on the local filesystem the DFS name node should store the name table.If this is a comma-delimited list of directories,then name table is replicated in all of the directories,for redundancy.
true
dfs.datanode.data.dir
/usr/cdh/hadoop/dfs/data
Determines where on the local filesystem an DFS data node should store its blocks.If this is a comma-delimited list of directories,then data will be stored in all named directories,typically on different devices.Directories that do not exist are ignored.
true
dfs.replication
1
dfs.permission
false
mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.job.tracker
hdfs://master:9001
true
mapreduce.map.memory.mb
1536
mapreduce.map.java.opts
-Xmx1024M
mapreduce.reduce.memory.mb
3072
mapreduce.reduce.java.opts
-Xmx1024M
mapreduce.task.io.sort.mb
512
mapreduce.task.io.sort.factor
100
mapreduce.reduce.shuffle.parallelcopies
50
mapred.system.dir
/tmp/hadoop/mapred/system
true
mapred.local.dir
/tmp/hadoop/mapred/local
true
yarn-site.xml
yarn.resourcemanager.address
master:8080
yarn.resourcemanager.scheduler.address
master:8081
yarn.resourcemanager.resource-tracker.address
master:8082
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
3、 运行前的准备
a) 在$HADOOP_HOME/bin下运行hdfs namenode –format
b) 在$HADOOP_HOME/sbin下运行./start-all.sh
如遇namenode或datanode无法正常启动,则需要查询日志是否因为namenode和datanode的缓存引起。其缓存文件的位置配置是在$HADOOP_HOME/etc/hadoop/hdfs-site.xml中配置
如果以上在本机运行正常,通过jps命令看到NameNode、SecondaryNameNode、ResourceManager、NodeManager、DataNode,则表示运行正常,配置正常。继续以下操作。
1、修改$HADOOP_HOME/etc/hadoop/savles文件,修改其内容为
slave1
slave2
2、复制到slave1和slave2。先在slave1和slave2上分别添加/usr/cdh文件夹,然后运行
scp -r /usr/cdh/hadoop-2.3.0-cdh5.0.0 hadoop@slave1:/usr/cdh
scp -r /usr/cdh/hadoop-2.3.0-cdh5.0.0 hadoop@slave2:/usr/cdh
3、修改slave1和slave2上的/usr/cdh的所属用户和运用权限为700
注******************************************************************:
使用hadoop fs -ls 查看文件系统的时候会遇到报错WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable原因是缺少libhadoop.so文件 在src目录或者hadoop-common子项目中重新build,命令:mvn package -DskipTests -Pdist,native,docs -Dtar再次遇到报错[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found这次是遇到BUG了按照https://issues.apache.org/jira/browse/HADOOP-10110官方说明在hadoop-common-project/hadoop-auth/pom.xml文件中添加
org.mortbay.jetty
jetty-util
test
再次编译遇到报错Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on project hadoop-common:这是没有安装zlib1g-dev的关系,这个可以 使用apt-get安装 最后把生成的.so文件全部拷贝到lib/native/目录下,再次运行hadoop fs -ls没有报错信息
cdh必须要在root用户搭建吗_基于cloudera CDH5的环境搭建相关推荐
- java opencv 环境_基于java的OpenCV环境搭建
一.OpenCV下载安装 选择相应的版本下载保存就好(不过官网下载有时候真滴慢还会连不上.....)网盘链接有windows ios Android 版本安装包可提取 链接:https://pan.b ...
- 基于ECS部署LAMP环境搭建Drupal网站,云计算技术与应用报告
实验环境: 建站环境:Windows操作系统,基于ECS部署LAMP环境,阿里云资源, Web服务器:Apache,关联的数据库:MySQ PHP:Drupal 8 要求的PHP版本為7.0.33的版 ...
- 【云计算OpenStack-OpenStack Queens版本】基于OpenStack的云计算环境搭建
基于OpenStack的云计算环境搭建 一.基础环境 1.基本环境信息回顾 2.基本环境网络测试 二.实现过程 1.配置阿里yum源(所有节点) 2.安装NTP时钟服务(所有节点) 3.opensta ...
- 基于阿里云服务器环境搭建到项目上线系列文章之六——项目部署
基于阿里云服务器环境搭建到项目上线系列 前言:最近购买了域名和一台阿里云服务器准备做点东西放上去,所以准备把环境搭建到项目上线的过程记录下来,计划一个系列6篇文章 基于阿里云服务器环境搭建到项目上线系 ...
- 【Hexo搭建GitPage博客系列】02.环境搭建
转载声明:商业转载请联系作者获得授权,非商业转载请注明出处.原文来自 © 呆萌钟[Hexo搭建GitPage博客系列]02.环境搭建 前言 Hexo搭建博客需要基于Node.js环境,而且依赖于Git ...
- 基于阿里云服务器环境搭建到项目上线系列文章之三——安装git
基于阿里云服务器环境搭建到项目上线系列 前言:最近购买了域名和一台阿里云服务器准备做点东西放上去,所以准备把环境搭建到项目上线的过程记录下来,计划一个系列6篇文章 基于阿里云服务器环境搭建到项目上线系 ...
- 基于阿里云服务器环境搭建到项目上线系列文章之一——putty使用秘钥登录远程服务器
基于阿里云服务器环境搭建到项目上线系列 前言:最近购买了域名和一台阿里云服务器准备做点东西放上去,所以准备把环境搭建到项目上线的过程记录下来,计划一个系列6篇文章 基于阿里云服务器环境搭建到项目上线系 ...
- 【官方搭建入门】JEEWX 捷微开发环境搭建必读
[官方搭建入门]JEEWX 捷微开发环境搭建必读 下载地址: http://git.oschina.net/jeecg/jeewx 1. 标准开发环境:eclipse + maven + jdk7 + ...
- Unity打包基于Android的apk环境搭建总结
Unity打包基于Android的apk环境搭建总结 资源准备 操作步骤 总结反馈 资源准备 配置Unity打包Android需要3大部分资源准备: 1.Unity准备 打开Unity,点击左上角Fi ...
最新文章
- java计算正方形_在地图计算圆的外接正方形,并返回左上顶点和右下顶点(java、javascript)...
- python 判断节假日_[宜配屋]听图阁
- 轻松架设Win 2003用户隔离FTP站点
- 突破Android微信微博浏览器限制直接拉起应
- 成员缩写_「gnps,nbcs」是什么意思?00后饭圈缩写你看懂多少
- Taro+react开发(48)taro中switchTab
- mysql数据应用从入门_MYSQL数据库应用从入门到精通----读书笔记
- 如何让你的QQ不再掉线!
- mysql8.0安装问题
- 数据中台 画像标签_数据中台实战:如何通过标签平台圈出产品高价值用户?...
- hadoop 配置文件
- Win7 便签设置字体方法
- javashop源码百度云,java电商系统源码分享,Javashop多用户商城源码
- 制作一个App的完整流程是哪些
- 21种网页在线客服代码实例演示
- 自学测试的看过来:【全网最全超大型软件测试从零开始学习攻略】
- CodeFroces gym 100781 A.Adjoin the Networks(贪心)
- blk_rq_map_user和blk_rq_map_kern
- New Concept English3 Lesson 2. Thirteen equals one【精讲学习笔记】
- springboot+MyBatis返回Map时值为null的字段会丢失
热门文章
- Shell合并两个文件成一个文件的两列paste,awk
- Jmeter JDBC执行多条SQL
- C# HashTable的用法总结
- 带你开发类似 Pokemon Go 的 AR 游戏
- Angular - - ngHref、ngSrc、ngCopy/ngCut/ngPaste
- zendopcache代替APC效果不错
- Nginx 出現 500 Error 修復 (too many open file, connection)
- 教你如何rEFIt-让你开机免按option!
- LLYFSpy W.I.P
- 基于Springboot实现就业管理系统