连接xftp需要设置C:\Windows\System32\drivers\etc 加入虚拟机ip地址主机名

1.准备相关jar包

2.查询现有系统中自带的open jdk

rpm -qa | grep java

--如果有请卸载，nodeps表示强制无依赖

rpm -e --nodeps

3./opt该目录是可选的软件包安装目录，有些软件包我们可以将它安装在该目录中，只有root用户才有权限访问，自己新建opt目录或使用以下命令：

sudo chmod 777 /opt

4.source /etc/profile:重新读取修改的配置profile文件

5.tar zxcf ...

6.配置文件信息

hadoop-evn.sh

mapred-env.sh

yarn-evn.sh

core-site.xml:

hdfs-site.xml:

host

slaves:可不用修改，必须关闭防火墙

hadoop无法访问50070端口解决方法：

https://www.cnblogs.com/zlslch/p/6604189.html

hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException):

查阅资料发现造成这个问题的原因可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致，解决方案：

1、停止集群（切换到/sbin目录下）
$./stop-all.sh

2、删除在hdfs中配置的data目录（即在core-site.xml中配置的hadoop.tmp.dir对应文件件）下面的所有数据;
$ rm -rf /home/hadoop/hdpdata/*

3、重新格式化namenode(切换到hadoop目录下的bin目录下)
$ ./hadoop namenode -format

4、重新启动hadoop集群（切换到hadoop目录下的sbin目录下）
$./start-all.sh

http://blog.csdn.net/weiyongle1996/article/details/74094989

Hadoop伪分布式环境搭建相关配置文件：

http://blog.csdn.net/u012893747/article/details/52523867


　　　　　　　　　　课程：分布式集群、PB级别网站性能优化

转载于:https://www.cnblogs.com/confidentljw/p/7989875.html

Hadoop配置学习相关推荐

Hadoop的学习前奏（二）——Hadoop集群的配置
前言: Hadoop集群的配置即完全分布式Hadoop配置. 笔者的环境: Linux: CentOS 6.6(Final) x64 JDK: java version "1.7 ...
Hadoop组件学习(一) —— 单点与集群的配置
一.Hadoop核心组件 1.分布式文件存储系统HDFS(Hadoop Distributed File System) 2.资源管理系统YARN(Yet Another Resource Negot ...
学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控
五.Hadoop配置参数介绍 Hadoop集群配置文件主要有: 它们的默认参数配置可以看: core-default.xml :https://hadoop.apache.org/docs/stabl ...
大数据入门之Hadoop基础学习
前言目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求.因此对大数据知识也有必要进行一些学习理解基础概念大数据的本质一.数据的存储:分布式 ...
hadoop配置eclipse的开发环境
hadoop配置eclipse的开发环境一.前言由于大三学习需要,而且网上的教程都有点模糊,导致我走了不少弯路,因此我写下这篇博客,本文仅供参考,如果有不足之处,还望指出. 二.安装eclipse ...
如何学习Hadoop，学习Hadoop要学什么？怎么学？
如何学习Hadoop,学习Hadoop要学什么?怎么学? 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去 ...
Hadoop系统化学习提纲
一.集群安装监控和管理模块一 EasyHadoop集群入门 ·Hadoop暴风应用案例 http://tech.watchstor.com/spec/salon/20120512/#585565- ...
在vmbox里面安装Ubuntu16.04并且配置jdk以及Hadoop配置的教程【附带操作步骤】
系列文章目录 Hadoop升级命令 sudo apt-get update报错问题,_张小鱼༒的博客-CSDN博客 Hadoop与主机连接以及20版本的Hadoop配置网络的问题_hadoop未指定主 ...
大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g 提取码: 6666 [P001-P ...

Hadoop配置学习

hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException):

Hadoop配置学习相关推荐

最新文章

热门文章