hadoop环境搭建总结

这段时间公司尝试使用了中科院开源的easyML来做项目，期间遇到的一系列坑爹问题，在这里做下记录。
由于docker环境不适合该项目，所以大佬决定在外面弄个新的，方便操作的环境，于是就有了下面一系列问题。
1.网络：第一个绝对是网络。我们用的是虚拟机，老是出现网络不通的现象。ping通网络的正确姿势如下：
修改该虚拟机的mac地址，在“虚拟机”-“设置”-“网络适配器”-“高级”，在mac地址那里，点击“生成”。结束后，把虚拟机关掉，再重新启动（注意：不是点重启虚拟机）。再到对应的网卡文件里修改ip，让集群的ip固定下来。
2.端口问题：多重启，多修改，重复以上步骤，都是这么过来的。
3.oozie的编译问题，编译命令严格按照参考安装连接的命令，命令中的版本什么的都不要改，不然绝对编译不了。
4.python版本升级的问题,因为不升级就只能调用python的基础库。centos版本里自带2.7的版本，需要把它升级到3.6。在安装完anaconda后（装的过程全部选yes，不管是最后遇到要安装微软的某个程序），删除原有的python软连接，rm -rf /usr/bin/python然后ln -s 你的路径 /usr/bin/python
5.把安装hadoop集群的过程，最好把配过一次的各个组件保存一下，把安装过程写成一个脚本。并且以hostname作为各个配置文件的主机识别，不然以后会被坑死。

hadoop环境搭建总结相关推荐

Hadoop环境搭建教学(二)完全分布式集群搭建；
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录安装三台 CentOS 7系统一.X-Shell的准备工作二.基本工具安装三.关闭防火墙四.修改Host文件五.3.4.4 ...
Hadoop环境搭建教学(一)运行环境,集群规划介绍；
文章目录前言一.Hadoop的三种运行环境二.集群规划三.需要的基本软件安装下期见前言 Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很 ...
Hadoop环境搭建(二)CentOS7的下载与安装
Hadoop环境搭建(一) VMware Workstation安装与网络配置 1. CentOS7的下载 https://wiki.centos.org/Download 2. CentOS7安 ...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳原文: 史上最详细的Hadoop环境搭建关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末彩蛋] 前言 Hadoop在大数据技术体系中的地位至关重要 ...
【菜鸟窝】Hadoop生态系统、Hadoop虚拟机环境准备、Hadoop环境搭建（含安装包和教程）
hadoop环境搭建视频:https://www.cniao5.com/course/lessons/10244 1.1Hadoop简介 1.1.1Hadoop的诞生 Hadoop是由Apache L ...
hadoop环境搭建（详解）
hadoop 环境搭建引言: 随着人工智能和大数据的热潮的到来,大数据变得越来越火了,坏蛋哥的信念就是致力于大数据的发展和进步,希望能为大数据的发展和推广尽一份绵薄之力.如果要做大数据,那么大数据相 ...
Spark Hadoop 环境搭建http://www.jianshu.com/p/5b1eafdf34a9
Spark Hadoop 环境搭建链接地址:http://www.jianshu.com/p/5b1eafdf34a9 来源:简书博文内容与结构: 1.介绍了搭建大数据框架的文件和步骤; 2.包括 ...
Hadoop环境搭建之zookeeper安装
Hadoop环境搭建一.预备知识 1.大数据导论 1.1 大数据概念大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决 ...
Hadoop+hive+flask+echarts大数据可视化项目之系统数据整合和hadoop环境搭建
Hadoop+hive+flask+echarts大数据可视化项目(二) --------------系统数据整合和hadoop环境搭建---------------- 关注Hadoop+Hive+F ...
Hadoop环境搭建及常见问题解决（保姆级教程）
Hadoop环境搭建及常见问题解决零.资源准备一.环境准备 1. 安装虚拟机 2. 环境准备 1) 创建新用户xiaobai 2) 安装ssh-server 3) 上传相关资源 [4)] 使用pu ...

hadoop环境搭建总结

hadoop环境搭建总结相关推荐

最新文章

热门文章