大数据集群搭建之hadoop、tomcat、jdk等工具的安装(三)
- 目录
- 一、准备的资源:
- 二、安装配置过程
目录
本章就说下各种软件的安装和配置。
一、准备的资源:
1、tomcat(如用于在网页上查看HDFS的存储等)
地址:http://pan.baidu.com/s/1miC93ny
密码:52dd
2、jdk
地址:http://pan.baidu.com/s/1mhVWiM0
密码:fmn1
3、Hadoop(最好用centos6.5系统,否则配置时会出现各种BUG)
地址:http://pan.baidu.com/s/1qXXPUdm
密码:5zqe
二、安装配置过程
在安装这些软件之前,再介绍个比较好用的软件给大家
SecureCRT7.3.3 x64(SSH工具):http://pan.baidu.com/s/1gfzm7Fd
密码:5zy0
先说下这个软件,这个软件是安装在windows环境下,用于在Windows环境下通过SSH协议来控制Linux系统。
简单介绍下使用的过程:
打开软件按照下图进行操作
按照以上操作完毕后,你就可以在右边的命令行下来控制Linux,该软件支持命令行的命令粘贴等功能,详细的使可以自行百度。
接下来介绍各个软件的安装:
1、安装JDK
1.上传jdk-7u45-linux-x64.tar.gz到Linux上
2.解压jdk到/usr/local目录
tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/
3.设置环境变量,在/etc/profile文件最后追加相关内容
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_45
export PATH=PATH:PATH:PATH:JAVA_HOME/bin
4.刷新环境变量
source /etc/profile
5.测试java命令是否可用
java -version
2、安装Tomcat
1.上传apache-tomcat-7.0.68.tar.gz到Linux上
2.解压tomcat
tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/
3.启动tomcat
/usr/local/apache-tomcat-7.0.68/bin/startup.sh
./startup.sh
4.查看tomcat进程是否启动
jps
5.查看tomcat进程端口
netstat -anpt | grep 2465
6.通过浏览器访问tomcat
http://192.168.0.101:8080/
3、安装hadoop
先上传hadoop的安装包到服务器上去/home/hadoop/
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop第一个:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65
第二个:core-site.xml<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --><property><name>fs.defaultFS</name><value>hdfs://weekend-1206-01:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop-2.4.1/tmp</value></property>第三个:hdfs-site.xml <!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.secondary.http.address</name><value>192.168.1.152:50090</value></property>第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)mv mapred-site.xml.template mapred-site.xmlvim mapred-site.xml<!-- 指定mr运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>第五个:yarn-site.xml<!-- 指定YARN的老大(ResourceManager)的地址 --><property><name>yarn.resourcemanager.hostname</name><value>weekend-1206-01</value></property><!-- reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>3.2将hadoop添加到环境变量vim /etc/proflieexport JAVA_HOME=/usr/java/jdk1.7.0_65export HADOOP_HOME=/itcast/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile3.3格式化namenode(是对namenode进行初始化)hdfs namenode -format (hadoop namenode -format)3.4启动hadoop先启动HDFSsbin/start-dfs.sh再启动YARNsbin/start-yarn.sh3.5验证是否启动成功使用jps命令验证27408 NameNode28218 Jps27643 SecondaryNameNode28066 NodeManager27803 ResourceManager27512 DataNodehttp://192.168.1.101:50070 (HDFS管理界面)http://192.168.1.101:8088 (MR管理界面)
在下面的章节中会介绍下HDFS的原理和基本操作等知识
大数据集群搭建之hadoop、tomcat、jdk等工具的安装(三)相关推荐
- 大数据集群搭建(一)虚拟机和Centos6的安装
文章目录 1.安装虚拟机 2.安装Centos6 3. Centos系统的网络配置 3.1关于IPADDR地址的由来: 4.将搭建好的虚拟机克隆出四台 4.1给四台节点配置独立的IP地址和主机名 1. ...
- 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)
大数据集群搭建进度及问题总结 所有资料在评论区那里可以得到 第一章: 1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是 ...
- 全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---终结篇
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
- 1、大数据集群搭建之----jdk安装和zookeeper集群安装
这里废话不多说,上来就干.(如果配置不成功或遇到问题,可以留言,共同解决问题) 我的百度网盘里面有所有的用到的软件,永久有效无加密. https://pan.baidu.com/s/1pqW6bHxh ...
- 全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---第二部分
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
- 全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)-----第一部分
##心路历程:这是大学时期做的项目,这个项目对我印象特别的深,当时没有记录在博客上,今后会积极分享自己做项目的历程与经验,希望能帮到需要的朋友,有什么问题或者建议欢迎在评论区留言,废话不多说,咱们就开 ...
- 【大数据集群搭建-Apache】Apache版本进行大数据集群各组件环境部署
[大数据集群搭建-Apache]Apache版本进行大数据集群各组件环境部署 1)大数据环境统一 1.1.设置主机名和域名映射 1.2.关闭服务器防火墙和Selinux 1.3.服务器免密登陆 1.4 ...
- 大数据集群搭建(jdk、hadoop、hive、mysql、spark、flume、zookeeper)
集群环境 各个机器安装的组件列表 大数据各个组件版本 192.168.248.10 192.168.248.11 192.168.248.12 jdk1.80 √ √ √ hadoop-2.6.1 √ ...
- 大数据集群搭建之节点的网络配置过程(二)
紧接着上一章来设置windows的vmnet8的ip地址和虚拟机中centos的ip地址. NAT虚拟网络的配置图如下图所示: 1.这里根据VMware中得到的网关地址去设置vmnet8的ip地址. ...
最新文章
- ActionDescriptor 的认识
- 如何优雅的导出Excel
- Codeforces 723D. Lakes in Berland
- I/O 多路复用之select
- Linux源码Kconfig文件语法分析
- 前端码农的焦虑与救赎
- 如何降低软件项目的风险 -- 包括客户的风险,软件提供商的风险
- Windows环境上装在VM,VM安装CentOS7
- openwrt带宽测速
- VirtualBox成功安装Ubuntu18.04设置共享文件夹总结
- excel两列数据对比找不同_Excel小白就不能用数据分析的办法找工作吗?
- C51单片机实现 贪吃蛇
- 不再犹豫用计算机,电脑固态硬盘接口该怎么选?3选1不再犹豫
- 如何记录日常收支,将账目导出生成表格保存
- DIY 2U 服务器
- 解决COVID-19的7个开放硬件项目
- 滑铁卢计算机竞赛CCC 解惑问答
- 位图文件(BMP)格式分析
- 单片机寻迹小车ppt_基于单片机循迹小车的设计.doc
- 金融大数据分析-Jupyter-Python3-资产定价模型-CAPM