linux Hadoop环境变量安装及应用

1．上传hadoop（切记在hadoop用户下）

1．解压缩 tar -xzfhadoop-2.7.5.tar.gz

1．配置环境变量

（1）首先进入hadoop的根目录

（2）配置HADOOP_HOME

查看 bashrc文件

（3）配置HADOOP_CONF_DIR

（4）配置PATH vi ~/.bashrc （删除上面的PATH，重新写入一个新的）

exportPATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P _ H O M E / b i n : HADOOP\_HOME/bin: HADOOP_HOME/bin:HADOOP_HOME/sbin

vi 进入环境变量配置文件，添加上面圈选部分，:wq保存退出（PATH路径好像要在最底下，不然PATH无法使用 J A V A _ H O M E 、 JAVA\_HOME、 JAVA_HOME、HADOOP_HOME路径）

（5）source更新文件

（6）输入hadoop测试环境变量生效了没，证明生效

一．搭建hadoop

1．配置静态IP

（1）切换root用户（否则下面的操作没有权限）

（2）查看你的网段

（3）vi/etc/sysconfig/network-scripts/ifcfg-ens33（这里的33不是我的网段！！！）

修改BOOTPROTO=static onroot = yes

添加

IPADDR=192.168.33.110 （33设置成你的网段，最后随便设置，请牢记这个ip）

NETMASK=255.255.255.0

GATEWAY=192.168.33.2（这里的33也请改成你的网段）

DNS1=202.106.0.20

（4）重启network systemctl restart network

（5）输入 ssh 192.168.33.110，看看配置的生效了没

输入用户和密码成功登陆上了，证明整成功了

2．修改主机名和映射

（1）切换root用户，修改需要权限

（2）修改主机名 vi/etc/hostname

保存退出

（3）修改主机映射 vi /etc/hosts

保存退出

（4）重启

（5）修改window下的映射

在桌面打开这个文件（记事本），输入以下内容，记住一定输入你配置的静态ip，保存关闭

将桌面的文件拖到原来的文件夹下

选择替换

以管理员继续

完成

3．修改配置文件

（1）重新连上linux

（1）进入配置目录

（3）配置 core-site.xml

在configuration添加以下内容然后保存退出

fs.defaultFS

hdfs://python2:9000

（1）配置hdfs-site.xml

在configuration添加以下内容然后保存退出

dfs.replication

dfs.namenode.name.dir

file:///home/hadoop/opt/tmp/dfs/name

dfs.datanode.data.dir

file:///home/hadoop/opt/tmp/dfs/data

dfs.namenode.http-address

python2:50070

（5）配置mapred-site.xmll

ll查看当前目录会发现没有mapred-site.xml文件，只有一个mapred-site.xml.template的文件，我们复制一份命名为mapred-site.xml： cpmapred-site.xml.template mapred-site.xml

在configuration添加以下内容然后保存退出

mapreduce.framework.name

yarn

（6）配置yarn-site.xml

在configuration添加以下内容然后保存退出

yarn.resourcemanager.hostname

python2

yarn.nodemanager.aux-services

mapreduce_shuffle

（7）修改 slaves

slaves

配置datanode的主机名称

python2

1．关闭防火墙和selinux

切换到root用户

关闭防火墙

临时关闭：systemctlstop firewalld

永久关闭：systemctldisable firewalld

查看状态：systemctlstatus firewalld

关闭selinux

临时关闭：setenforce0

永久关闭：vi/etc/selinux/config

修改 SELINUX=disabled

getenforce：查看状态

切换到root用户

关闭防火墙

关闭selinux

重启机器 reboot

重新连接，登录hadoop

查看防火墙和selinux状态

5．执行hdfs文件系统格式化:hdfsnamenode -format

6．配置ssh无密码登录

输入ssh-keygen -t rsa 一直回车

ssh-copy-id 你想登录到的计算机名输入hadoop的密码

启动服务 start-dfs.sh（如果没有配置ssh 无密码登录，那么这里会一直提示输入密码）

查看启动的服务 jps

start-yarn.sh 及jps

1．浏览器访问，输入python2:50070

成功显示！

七．文件上传

1．创建一个目录 hadoop fs-mkdir -p /user/hadoop

1．文件上传

新建一个文件

写入内容

保存退出（快捷键 esc-shift（按住）-z-z）

上传

查看

八．Anaconda的安装

1．上传

1．安装前需要安装bzip2 yum -y install bzip2

（1）需要root用户，切换用户

（2）yum -y install bzip2 安装bzip2

（3）退出root用户

3．开始安装Anaconda bash Anaconda3-5.0.1-Linux-x86_64.sh

输入yes

等待

完成

4．更新环境变量

5．查看jupter地址 jupyter-notebook --ip python2

6．进浏览器，输入你复制的地址

linux Hadoop环境变量安装及应用相关推荐

Maba连接、创建文件夹、配置jdk、hadoop环境变量
Vm虚拟机--虚拟的模拟电脑 Centos--电脑要安装的操作系统(linux系统) Moba--windows软件,windows和linux传输文件要用moba软件. Jdk--linux下面的j ...
Linux下环境变量配置方法梳理（.bash_profile和.bashrc的区别）
博客园首页新随笔联系管理订阅 <div class="blogStats"> 随笔- 556 文章- 38 评论- 77 ...
Linux下环境变量设置
1.在Windows 系统下,很多软件安装都需要配置环境变量,比如安装 jdk ,如果不配置环境变量,在非软件安装的目录下运行javac 命令,将会报告找不到文件,类似的错误. 2.那么什么是环境变 ...
Linux设置环境变量小结
1.总结背景在linux系统下,如果你下载并安装了应用程序,很有可能在键入它的名称时出现"command not found"的提示内容.如果每次都到安装目标文件夹内,找到可执行 ...
linux LD_LIBRARY_PATH环境变量
linux LD_LIBRARY_PATH环境变量 (2011-09-22 17:59:35) 转载▼ 标签: 杂谈分类:技术文章版权声明:转载时请以超链接形式标明文章原始出处和作者信息及本声明 ...
linux path在哪个文件夹,linux PATH环境变量全解析
linux PATH环境变量全解析关于PATH的作用: www.2cto.com PATH说简单点就是一个字符串变量,当输入命令的时候LINUX会去查找PATH里面记录的路径. 比如在根目录/下可 ...
mysql linux centos7_MySQL在Linux centos7环境下安装教程详解（图）
这篇文章主要为大家详细介绍了Linux centos7环境下MySQL安装教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 Linux centos7环境下安装MySQL步骤的详细介绍安装My ...
Linux中环境变量文件及配置
一.环境变量文件介绍转自:http://www.cnblogs.com/mengyan/archive/2012/09/04/2669894.html Linux中环境变量包括系统级和用户级,系统级 ...
liunx创建php环境变量,linux添加环境变量的方法总结
linux添加环境变量的方法总结 linux对环境变量有无双引号.或者变量用不用{}括起来并不敏感,小小的看了下profile文件,似乎系统如果发现变量没有引号,会自动加上. 但变量前必须加$符号,类 ...

linux Hadoop环境变量安装及应用

linux Hadoop环境变量安装及应用相关推荐

最新文章

热门文章