hadoop2.2单节点集群的搭建
2019独角兽企业重金招聘Python工程师标准>>>
本文主要讲述怎么搭建和配置一个单节点的hadoop集群,以便使用mapreduce和hdfs快速的执行一些简单的操作。
环境准备
1:linux操作系统。
2: jdk
3: ssh (yum install ssh)
4: rsync (yum install rsync)
5: 配置SSH
sshkeygen
ssh-coye-id -i ~/.ssh/id_rsa root@192.168.20.171
参数配置
1:解压hadoop的安装包,然后编辑etc/hadoop/hadoop-env.sh. 配置JAVA_HOME和 HADOOP_PREFIX(hadoop_home)参数。
安装模式:
1:本地模式
默认情况下,hadoop运行在本地模式:一个jvm进程,主要用来debugs
下面的例子复制配置文件作为输入,然后找到符合正则表达式的字段。输出道output目录
$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output 'dfs[a-z.]+'
$ cat output/*
2:伪分布式模式
hadoop可以以伪分布式的模式运行在一个节点上,hadoop服务运行在几个独立的进程上。
配置 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/tmp</value>
</property>
</configuration>
配置 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/name</value>
<
final
>
true
</
final
>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/data</value>
<
final
>
true
</
final
>
</property>
<property>
<name>dfs.replication</name>
<value>
1
</value>
</property>
<property>
<name>dfs.permissions</name>
<value>
false
</value>
</property>
</configuration>
执行如下命令
1:hdfs namenode -format
2: sbin/start-dfs.sh
3:通过web接口查看namenode状态 http://namenode:50070/
这里hdfs已经配置运行成了。
下面是配置伪分布式模式下面的YARN
1:配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
配置yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
2: 启动ResourceManager和NodeManger进程。
sbin/start-yarn.sh
3: 浏览ResourceManger的web服务, http://localhost:8088/
4: 停止这个守护进程 sbin/stop-yarn.sh
mapreduce.framework.name
这个参数有三个属性:local,classis,yarn;
1 classis:任务提交给jobtracker ,它的地址是通过mapreduce.jobtracker.address设置。
2 yarn:任务提交给resource manger中的application master。 它的地址是通过yarn.resourcemanager.address设置。
3 local:如果想在本地使用mapreduce,那么使用mapreduce.framework.name和mapreduce.jobtracker.address都设置为local就行了。如果不想启动hdfs.那么设置fs.defaultFs为file:///
来自为知笔记(Wiz)
转载于:https://my.oschina.net/1987times/blog/266471
hadoop2.2单节点集群的搭建相关推荐
- 说说单节点集群里安装hive、3\5节点集群里安装hive的诡异区别(版本搭配)
这几天,无意之间,被这件事情给迷惑,不解!先暂时贴于此,以后再解决! 详细问题如下: 在hive的安装目录下(我这里是 /home/hadoop/app/hive-1.2.1),hive的安装目录的l ...
- Cloudera Manager安装之利用parcels方式安装单节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(四)...
前期博客 Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm方式和yum方式) 说在前面的话(看清楚就好!!!) 我这篇博客,是两种方式都 ...
- java 带密码连接redis 单节点/集群 No reachable node in cluster报错解决
java 带密码连接redis 单节点/集群 No reachable node in cluster报错解决 maven依赖 <dependency><groupId>red ...
- CVM 单节点集群配置
以下命令均在登入CVM后执行 1)创建集群 cluster -s cvm_ip create 2)查看集群状态 cluster status 3)停止集群 cluster stop 4)删除集群 cl ...
- hadoop2.4的伪集群的搭建
1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast ###1.2修改 ...
- Cloudera Manager安装之利用parcels方式安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(五)...
参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群 Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm ...
- mysql集群多管理节点_项目进阶 之 集群环境搭建(三)多管理节点MySQL集群
多管理节点MySQL的配置很easy,仅须要改动之前的博文中提高的三种节点的三个地方. 1)改动管理节点配置 打开管理节点C:\mysql\bin下的config.ini文件,将当中ndb_mgmd的 ...
- 从0开始搭建Hadoop2.x高可用集群(HDFS篇)
从0开始搭建Hadoop2.x高可用集群(HDFS篇) 演示目标 演示环境 注意事项 准备虚拟机 关闭防火墙 检查系统时间 修改host 设置免密登录 卸载OpenJDK 安装软件 准备HDFS 配置 ...
- flume多节点集群搭建
概览 1.Flume流程简介 2.规划 3.配置 4.启动测试 5.注意 准备 操作系统:CentOS 7 搭建好hadoop集群 Flume版本:1.8.0 jdk版本:1.8.0_141 工具:X ...
最新文章
- 追梦童年,80后记忆中的Gameboy,教你怎么用模拟器去重温旧梦!
- python—多进程之进程之间通信
- 也说翟鸿燊忽悠的一面
- Spring开启方法异步执行
- c语言中结构体类型只有,C语言中main()函数不要返回结构体类型(求助)
- K8S中如何跨namespace 访问服务?为什么ping不通ClusterIP?
- oracle常见sql积累
- 中国工业经济数据库数据整理
- 【网络教程】Windows字体发虚,字体不清晰怎么办?
- 【目标检测】YOLOv2 ,对YOLOv1的多种改进
- u3d联机斗地主(1):出牌规则
- stm32 BKP 擦除后备寄存器存储的数据
- 架构方案(17) 分布式架构系统拆分原则、缘由、以及实战如何拆分步骤
- consul java_集成Consul负载均衡多实例注册_java_天雨流芳-CSDN博客
- 电影评论情感分析-直播案例
- 软考__所有涉及的图和表
- 日本电子企业败走世界舞台的真假面
- PPT结尾页,除了「谢谢」你还能写点啥?
- 7款适用于任何数据灾难的恢复工具
- 插入透明背景Flash的HTML代码
热门文章
- 7-103 牛几 (10 分)
- mysql8安装版安装教程_MySQL8.0版本安装教程
- router锚点和html锚点,react-router 环境使用锚点的方法
- java查询到更新之前的数据_Java对数据库的查询和更新操作详解
- Spark- SparkSQL中 Row.getLong 出现NullPointerException错误的处理方法
- Linux下open函数、read函数、write函数记录
- Problem 1: Multiples of 3 and 5
- js字符串方法、数组方法整理
- [Asp.net 5] DependencyInjection项目代码分析-目录
- jQuery环境搭建