单节点部署Hadoop教程
搭建HDFS
增加主机名
我这里仅仅增加了master主机名
[root@10 /xinghl/hadoop/bin]$ cat /etc/hosts
127.0.0.1 localhost 10.0.67.101
::1 localhost 10.0.67.101
10.0.67.101 master 10.0.67.101
如果配置远程集群,则需要配置SSH
我这里就是单节点测试玩玩,所以这步骤先省略了。
解压缩hadoop到/usr目录下
创建几个需要的目录
mkdir /dfs
mkdir /dfs/name
mkdir /dfs/data
mkdir /tmp
修改配置文件,在$HADOOP_HOME/etc/hadoop下
修改hadoop-env.sh
export JAVA_HOME=/usr/java
修改slaves
我这里就是
localhost
修改core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://master:8020</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>hadoop.proxyuser.u0.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.u0.groups</name><value>*</value></property>
</configuration>
修改hdfs-site.xml
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:9001</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/hadoop/dfs/data</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property>
</configuration>
启动hadoop
hadoop namenode -format #在$HADOOP_HOME/bin目录下
start-all.sh #在$HADOOP_HOME/sbin目录下
检查运行状态
1 使用jps命令查看
2 登录http://10.0.67.101:8088/cluster
配置SSH,支持无密码登录
[root@localhost sbin]# cd ~/.ssh/
[root@localhost .ssh]# ll
total 0
[root@localhost .ssh]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
75:ea:4f:ec:df:55:06:3c:af:91:12:50:69:a5:86:27 root@localhost.localdomain
The key's randomart image is:
+--[ RSA 2048]----+
| ...o. |
| ooo |
| E.* + |
| . * . = |
| S . . o +|
| . . . +.|
| . o . .|
| + ..|
| o.. .|
+-----------------+
[root@localhost .ssh]#
[root@localhost .ssh]# ll
total 8
-rw-------. 1 root root 1675 Aug 16 10:55 id_rsa
-rw-r--r--. 1 root root 408 Aug 16 10:55 id_rsa.pub
[root@localhost .ssh]# cat id_rsa.pub >> ~/.ssh/authorized_keys
[root@localhost .ssh]# ll
total 12
-rw-r--r--. 1 root root 408 Aug 16 10:55 authorized_keys
-rw-------. 1 root root 1675 Aug 16 10:55 id_rsa
-rw-r--r--. 1 root root 408 Aug 16 10:55 id_rsa.pub
[root@localhost .ssh]# ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
RSA key fingerprint is 9e:7b:cb:c5:06:e9:81:e5:db:57:9c:f9:79:a2:c4:ce.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
[root@localhost ~]# exit
logout
Connection to localhost closed.
[root@localhost .ssh]# ssh localhost
Last login: Tue Aug 16 10:55:30 2016 from localhost
[root@localhost ~]# exit
logout
Connection to localhost closed.
[root@localhost .ssh]#
转载于:https://www.cnblogs.com/xing901022/p/5713585.html
单节点部署Hadoop教程相关推荐
- Ubuntu下用devstack单节点部署Openstack
一.实验环境 本实验是在Vmware Workstation下创建的单台Ubuntu服务器版系统中,利用devstack部署的Openstack Pike版. 宿主机:win10 1803 8G内存 ...
- 菜鸟也学hadoop(1)_搭建单节点的hadoop
其实跟官方的教程一样 只是 我想写下来 避免自己搞忘记了,,,,好记性不如烂笔头 首先确认自己是否安装了 java, ssh 以及 rsync 没有装的直接就 apt-get install 了嘛,, ...
- Graylog 日志服务器单节点部署
资料 https://docs.graylog.org/docs/ 简介 Graylog项目由Lennart Koopmann在2009年左右启动.当时,最着名的日志管理软件vendor发布了他们产品 ...
- k8s二进制单节点部署
k8s二进制单节点部署 常见的k8s部署方式 Kubernetes二进制部署(单节点) 环境准备 部署etcd集群(这里就不在单独的服务器上部署,直接部署在各节点上,节省资源) 下载证书制作工具 利用 ...
- 啃K8s之快速入门,以及哭吧S(k8s)单节点部署
啃K8s之快速入门,以及哭吧S(k8s)单节点部署 一:Kubernets概述 1.1:Kubernets是什么? 1.2:Kubernets特性 1.3:Kubernets群集架构与组件 1.3.1 ...
- Elasticsearch在Linux中的单节点部署和集群部署
目录 一.Elasticsearch简介 二.Linux单节点部署 1.软件下载解压 2.创建用户 3.修改配置文件 4.切换到刚刚创建的用户启动软件 5.测试 三.Linux集群配置 1.拷贝文件 ...
- skywalking单节点部署
skywalking单节点部署 skywalking服务部署 下载skywalking服务文件 下载地址:http://skywalking.apache.org/downloads/ 我使用的是Bi ...
- openstack 系列: 基于CentOS7系统使用packstack工具单节点部署openstacktrain---Part-I安装简易命令
1说明 本人非linux专业人士,更不是云计算专家 部署过程是从各大博客自己百度知道 各种搜索排查,硬是搭起了train环境 过程纠结,先是在win 10 vmware 上安装centos7 再基于c ...
- ElasticSearch学习(四)——Linux 单节点部署
文章名称 地址 ElasticSearch学习(一)--概述 前往 ElasticSearch学习(二)--索引.文档简单操作 前往 ElasticSearch学习(三)--Windows 集群部署 ...
最新文章
- 全球AI技术开放日系列之(七):走进阿里业务中台
- 两种高性能I/O设计模式(Reactor/Proactor)的比较
- oracle11g系统初始化意义,Oracle11G 初始化脚本
- git 查看某些文档的历史版本_Git 教程(二)log 命令的使用
- python 打印皮卡丘_用python打印你的宠物小精灵吧
- 【转】Python中的运算符
- 測试AtomicInteger与普通int值在多线程下的递增操作
- Android 系统(55)---Android App开发之ANR异常的原因分析及处理总结
- 基于JAVA+SpringMVC+Mybatis+MYSQL的网络投票系统
- 敏捷开发一千零一问系列之十七:长期受制于强势客户怎么办?(上)
- 【渝粤题库】陕西师范大学200261 复变函数 作业(专升本、高起本)
- mysql批量执行sql文件
- is exists可以传数组查询吗_C++中数组类型的操作
- d3.js 旋转图形_凭布青云拼布图形设计软件下载-布艺设计软件 v2.0.0.1 官方版
- PS去除图片中文字的方法详细图文教程
- php流量计算单位,数据流量单位换算(流量单位的读法和换算)
- 前端开发工程师学习路线图(收藏版)
- 两位8421BCD码加法器的设计与实现
- 乐乐音乐播放器 欢迎页面(二)
- 1000元如何让旧电脑升级改造?这些方案你得学会
热门文章
- Android中ActivityManagerService与应用程序(客户端)通信模型分析
- Firebug入门指南
- TextView 的ScrollView滚动效果
- 算法竞赛入门经典读书笔记(四)7.3子集生成
- 在O(1)时间删除链表结点
- JAVA深入研究——Method的Invoke方法。
- go使用SQLite数据库
- Java栈和局部变量操作(二)
- (原創) 如何讓P7010外接螢幕支援1440x900(WXGA+)? (NB) (P7010)
- Progressbar 实现从右向左 加载(逆向)