hadoop大数据分析与挖掘实战（读书笔记3）

启动Hadoop

设置环境变量，设置了。

修改配置文件 /etc/hadoop/core-site.xml

也修改了配置文件 /etc/hadoop/hdfs-site.xml

还修改了配置文件 /etc/hadoop/yarn-site.xml

最后修改了配置文件 /etc/hadoop/mapred-site.xml

但是打出 hdfs namenode -format 的命令的时候，没有反应，找不到命令。

当我打出了 start-dfs.sh 的时候也是没有反应，倒是，./strat-dfs.sh 运行脚本才有反应。

而且反应很奇怪，

它会要求输入 master 的密码，然后输入localhost 的密码。非常奇怪！

但是输入jps 还是有反应的。但是在 slave 机输入jps 却一点反应也没有。

PATH变量问题所导致的找不到命令

所以需要配置要PATH，方便行事。但这个不是急事！

路径出了问题

这个问题，就是路径有问题，因为路径在/home/sam/hadoop-2.6.1/bin/hdfs

所以修改成功成功后，就搞定了。

这样搞定了，但是ssh 进入slave 1的时候，发现了问题，在salve1里面没有能找到了jps命令。

在slave上也要安装HADOOP

关于这方面的内容书上很少，关键在于参考这个BLOG：http://www.powerxing.com/install-hadoop-cluster/。

关于这个BLOG，一开始的步骤并不是复制HADOOP到slave 机器然后各种修改slave 机器的配置。而是

先修改主机 namenode 的配置，然后压缩起来，传给SLAVE 然后就各种命令启动。OK了。

成功安装需要避免的坑:

1就是主机和奴隶机的安装路径要一致。

2要注意 <configuration> </configuration>的问题

3 start 之前要先stop-all.sh 以防止节点已经存在的问题

4大部分问题都是配置路径的问题

最后用hdfs dfsadmin -report 的命令来查看，可以看到目前圈养了一只奴隶机。

现在我来贴一下我的配置文件（主机：）

core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://Master:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop-2.6.1/tmp</value><description>Abase for other temporary directories.</description></property>
</configuration>

hdfs-site.xml

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>Master:50090</value></property><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/hadoop-2.6.1/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop-2.6.1/tmp/dfs/data</value></property>
</configuration>

mapred-site.xml.template

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>Master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>Master:19888</value></property>
</configuration>

yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>Master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

奴隶机的基本和主机的一致，但前提是在主机中hadoop 安装路径在 home/hadoop

奴隶机的也是在 home/hadoop! 路径一定要一致！

转载于:https://www.cnblogs.com/zzzPark/p/7339117.html

hadoop大数据分析与挖掘实战（读书笔记3）相关推荐

【Hadoop大数据分析与挖掘实战】（一）----------P19~22
这是一本书的名字,叫做[Hadoop大数据分析与挖掘实战],我从2017.1开始学习软件版本为Centos6.4 64bit,VMware,Hadoop2.6.0,JDK1.7. 但是这本书的出版时 ...
python数据分析与挖掘实战之笔记2
<python数据分析与挖掘实战>学习笔记2 经过前面章节的分析,即对数据进行探索和预处理,得到了处理后的数据.根据所得到的数据建立分类与预测.聚类分析.关联规则.时序模式.和偏差检测等模 ...
Python大数据分析与挖掘实战微课版答案 Python大数据分析与挖掘实战课后答案例题课后作业 python题目 python题库数据分析与挖掘题库数据分析与挖掘项目
(在此仅展示题目,所有数据.代码.答案.习题等点我头像,在资源中!!!) 以下关于pandas 数据预处理说法正确的是(). A. pandas没有做哑变量的函数 B. 在不导入其他厍的情况下,仅仅使 ...
《python数据分析与挖掘实战》笔记第3章
文章目录第3章:数据探索 3.1.数据质量分析 3.2.数据特征分析 3.2.1.分布分析 3.2.2.对比分析 3.2.3.统计量分析 1.集中趋势度量 2.离中趋势度量 3.2.4.周期性分析 ...
《python数据分析与挖掘实战》笔记第5章
文章目录第5章:挖掘建模 5.1.分类与预测 5.1.1.实现过程 5.1.2.常用的分类与预测算法 5.1.3.回归分析 5.1.4.决策树 5.1.5.人工神经网络 5.1.7. Python分 ...
python大数据分析股票对比_Python大数据分析与挖掘实战第7章基于财务与交易数据的量化投资分析.pptx...
;随着我国证券市场的不断壮大,证券及证券投资在社会经济生活中的地位也越来越重要,上市公司的数量也不断增加,目前在上海证券交易所和深圳证券交易所上市交易的公司已经达到3700多家.投资者面对如此众多的不 ...
《Python数据分析与挖掘实战》笔记（四）：数据预处理
数据预处理主要包括数据清洗.数据集成.数据变换和数据规约数据清洗:删除原始数据集中的无关数据.重复数据.平滑噪声数据,处理缺失值.异常值等 ①缺失值处理删除记录.数据插补.不处理常用插补方法均 ...
机器学习实战---读书笔记：第11章使用Apriori算法进行关联分析---2---从频繁项集中挖掘关联规则
#!/usr/bin/env python # encoding: utf-8''' <<机器学习实战>> 读书笔记第11章使用Apriori算法进行关联分析---从频繁项 ...
《R与Hadoop大数据分析实战》一1.6　HDFS和MapReduce架构
本节书摘来自华章出版社<R与Hadoop大数据分析实战>一书中的第1章,第1.6节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区"华章计算机&qu ...

hadoop大数据分析与挖掘实战（读书笔记3）

hadoop大数据分析与挖掘实战（读书笔记3）相关推荐

最新文章

热门文章