服务器上装的hadoop系统,在Ubuntu Server 18.04.1中安装Hadoop系统环境
本文介绍安装Hadoop系统环境,所用的操作系统是Ubuntu Server 18.04.1 Linux 4.15.0-36-generic x86_64。
一、前提
先安装好Ubuntu Server 18.04.1系统,请参考安装Ubuntu 18.04 LTS服务器版详细步骤。
二、安装ssh环境
1.配置root用户密码
修改root用户的初始密码:
sudo passwd
退出当前用户,使用root登陆系统。
2.关闭防火墙
关闭防火墙:
systemctl stop firewalld.service
开机不启动防火墙:
systemctl disable firewalld.service
查看防火墙状态:
ufw status
inactive状态是防火墙关闭状态,active是开启状态。
3.配置root用户远程连接
注:装了ssh-server,如果未安装,请先安装:
apt-get install openssh-server
修改sshd_config:
vim /etc/ssh/sshd_config
找到:
# Authentication:
LoginGraceTime 120
PermitRootLogin without passwd
StrictModes yes
改成:
# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes
然后重启SSH服务即可。
重启过后通过shell连接:
4.设置ssh localhost免密码登录:
ssh localhost
exit
输入密码登录本机和退出本机:
在进行了初次登陆后,会在当前家目录用户下有一个.ssh文件夹,进入该文件夹下:
cd ~/.ssh/
使用rsa算法生成秘钥和公钥对:
ssh-keygen -t rsa
运行后一路回车就可以了,其中第一个是要输入秘钥和公钥对的保存位置,默认是在:
.ssh/id_rsa
然后把公钥加入到授权中:
cat ./id_rsa.pub >> ./authorized_keys
再次ssh localhost的时候就可以无密码登陆了。
三、安装jdk
1.解压jdk
创建一个java的文件夹,用户存放Java文件:
mkdir /usr/local/java
通过ftp工具把下载好的jdk安装包上传到java文件夹下:
解压:
cd /usr/local/java
tar -vxzf jdk-8u181-linux-x64.tar.gz
解压成功后会在当前目录下看到:
jdk1.8.0_181文件夹
然后删除安装包:
rm jdk-8u181-linux-x64.tar.gz
2.配置jdk
设置环境变量:
vim /etc/profile
在末尾增加以下代码:
JAVA_HOME=/usr/local/java/jdk1.8.0_181
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH
重新加载环境变量的配置文件:
source /etc/profile
检测:
java -version
四、安装Hadoop
1.解压hadoop
创建一个hadoop的文件夹,用户存放hadoop文件:
mkdir /usr/local/hadoop
通过ftp工具把下载好的hadoop安装包上传到hadoop文件夹下。
解压:
cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz
解压完成:
移动hadoop-2.7.7文件下的文件到当前的目录:
mv ./hadoop-2.7.7/* ./
删除hadoop-2.7.7文件夹:
rm -rf ./hadoop-2.7.7
查看文件夹的所有者以及用户组,最重要的是拥有者是否是当前用户
如果拥有者不是当前用户,则修改为当前用户:
sudo chown -R 当前用户名 ./hadoop
2.配置hadoop
设置环境变量:
vim /etc/profile
在末尾增加以下代码:
JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME
重新加载环境变量的配置文件:
source /etc/profile
检测:
hadoop version
3.修改配置文件
在core-site.xml中增加:
fs.defaultFS
hdfs://0.0.0.0:9000
hadoop.tmp.dir
/usr/local/hadoop/tmp
hadoop.tmp.dir
/usr/local/hadoop/tmp
在hdfs-site.xml中增加:
dfs.data.dir
/usr/local/hadoop/hdfs/data
datanode上数据块的物理存储位置
dfs.replication
1
dfs.permissions
false
在hadoop-env.sh中更改JAVA_HOME。
注释掉:
export JAVA_HOME=${JAVA_HOME}
添加:
export JAVA_HOME=/usr/local/java/jdk1.8.0_181
4.测试,启动
格式化namenode:hadoop namenode -format
启动hdfs:start-all.sh
查看相应的进程:jps
确定6个进程全部启动。
访问测试:10.168.1.129:50070(没问题就全部完成了。)
相关主题
服务器上装的hadoop系统,在Ubuntu Server 18.04.1中安装Hadoop系统环境相关推荐
- 服务器如何ghost系统安装,如何在Ubuntu Server 14.04 LTS上安装Ghost
Ghost是一个很优秀的博客平台,设计美观,使用简便,且完全免费.同时也是一款开源软件,源代码共享在github上.到2014年1月,我们能感觉到界面更趋于简洁,分析图表可调整,分屏显示的方式让编辑更 ...
- 树莓派4b无线连接服务器代码,树莓派4B Ubuntu Server 18.04 连接无线 5G WIFI
树莓派4B Ubuntu Server 18.04 连接无线 5G WIFI ifu25 • 2021 年 08 月 06 日 新入手了树莓派4B的 2G 版本,打算用来做服务器用所以安装了 Ubun ...
- linux服务器版怎么安装桌面,如何在Ubuntu Server 18.04上安装GNOME桌面
如果您已经采用了Ubuntu Server 18.04,你一定会感到非常自豪.然而,无论您多么关注它,您都意识到您的it管理生命中的大部分时间都在使用GUI,并且您不太确定接下来要做什么?如果这样描述 ...
- linux网络唤醒,如何在Ubuntu Server 18.04中启用网络唤醒(WOL)
网络唤醒(WOL)是一种行业标准协议,用于远程唤醒服务器.如果您管理着很多设备,因此不需要为了唤醒服务器而去数据中心.启用允许您远程执行此操作的功能,这样您可以更高效地工作. Ubuntu 系统默认没 ...
- ubuntu server 18.04 first config
ubuntu server 18.04 first config 文章目录 ubuntu server 18.04 first config oneClick i3wm googlepinyin ss ...
- Linux/ubuntu server 18.04 安装远程桌面--vnc server
此文首发于我的个人博客:Linux/ubuntu server 18.04 安装远程桌面–vnc server - zhang0peter的个人博客 想装桌面端在服务器上的原因是我在终端中开chrom ...
- debian最小化安装如何安装桌面_如何在Ubuntu Server 18.04上安装GNOME桌面
如果您已经采用了Ubuntu Server 18.04,你一定会感到非常自豪.然而,无论您多么关注它,您都意识到您的it管理生命中的大部分时间都在使用GUI,并且您不太确定接下来要做什么?如果这样描述 ...
- 基于Ubuntu Server 16.04 LTS版本安装和部署Django之(二):Apache安装和配置
基于Ubuntu Server 16.04 LTS版本安装和部署Django之(一):安装Python3-pip和Django 基于Ubuntu Server 16.04 LTS版本安装和部署Djan ...
- 基于Ubuntu Server 16.04 LTS版本安装和部署Django之(一):安装Python3-pip和Django
近期开始学习基于Linux平台的Django开发,想配置一台可以发布的服务器,经过近一个月的努力,终于掌握了基于Apache和mod-wsgi插件的部署模式,自己也写了一个教程,一是让自己有个记录,二 ...
- Ubuntu Server 18.04 LTS 安装Tomcat并配置systemctl管理Tomcat服务
本文目录 1 下载安装JDK 2 下载安装Tomcat 3 配置systemctl管理Tomcat服务 2019.11.13补充 软件环境 系统版本:Ubuntu Server 18.04.1 LTS ...
最新文章
- 3MIN干完一周的工作量?快来看看应该如何部署 Kubernetes!
- python处理表格数据-用Python创建/读取/导出表格数据文件
- LaTeX配置及实用工具汇总
- mysql高精度类型_mysql中常见的数据类型
- 单元测试源码分析之二Mockito自动装配和插桩
- Facebook提出生成式实体链接、文档检索,大幅刷新SOTA!
- Python:数据类型
- 【java笔记】map集合
- 使用RandomAccessFile读写数据
- tablelayout高度问题
- 计算机已锁定的时候鼠标不能用,鼠标驱动正常但是不能用怎么回事_电脑鼠标驱动正常但是不能用怎么解决...
- NB-IOT相关的术语 SGW、PGW、LTE、RRC、E-UTRAN、EPC
- 真 · 神经网络发明人福岛邦彦获奖,Schmidhuber、李飞飞点赞
- 被人误解的设计思路1
- 多多情报通:拼多多店铺不交保证金能卖货吗?有什么影响吗?
- 详细讲解 “双评价”——建设指向的土地资源评价
- 判断素数———两种高效算法
- 多线程MT和多线程MD的区别
- 如何关闭 YouTube 上的受限模式
- ipguard软件安装管理策略