干货丨零基础学习大数据,搭建Hadoop处理环境
由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。
VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要注意的是需要修改每个虚拟机的IP与主机名。
所有虚拟机采用NAT模式上网,而且要保证与物理主机的IP互相能访问。
需要注意的几个问题。nat如果上网首先需要查看物理机(pc机)这个服务器已经启动。上网的原理:流量是走的物理网卡,但是它的ip,却是和物理机没有关系的。也就是说,无论你怎么更换网络环境,你的虚拟机都不需要做改变。这就是它的优点。
首先在安装VMware 之后,我们会看到多了两个网卡
这个如果经过网络配置的折磨,应该能找到着两个网卡:vmnet1和vmnet8,这里讲的是vmnet8。
重点看右侧第三图你会看到ip地址,这个ip地址,因个人而异,也就是说不同网络,不同环境,这个ip变化的概率是很大的。可能是192.168.0.1等等。这里也相当于我们编程的一个变量,这里是需要你根据你的环境来赋值的,建议vmnet1到vmnet8分别设置192.168.10.1到192.168.80.1,好作区分。
上面我们通过看到的虚拟机网卡的ip,为了避免混肴,上面的虚拟网卡和本地网络适配器处于同一界面。如下图:
而下面则是在打开虚拟机之后,通过菜单弹出
弹出之后,我们在看一下虚拟机的(交换机)vmnet8.
可以看到vmnet8子网ip和虚拟机网卡是出于同一个网段的。
同时在右侧net设置界面,我们可以看到网关为:192.168.106.2,改成192.168.80.2 虚拟机的设置会用到。
Linux基础知识
Linux的学习也是一个过程,因为可能你连最简单的开机和关机命令都不会,更不要谈配置网络。这里面给大家提供刚开始学习所查阅的资料和经验总结。
首先我们需要使用一些命令,进行网络配置,但是在网络配置中,这里面又必须懂得虚拟机的一些知识,所以前面的虚拟机知识需要掌握扎实一些。
在此注意CentOS7与CentOS6的命令有些不同,会一些常用命令是必备,每次开机或启动解压安装授权都是最基本的知识,其它的可以暂时不用学。
CentOS中安装java环境
下载对应32或64位jdk,设置好JDK环境变量PATH,具体的配置可自行Google。
环境准备
修改机器名,每个系统中都要修改成这样。
打开终端,切换到root用户下修改机器名称。
$ sudo su
$ vim /etc/sysconfig/network
在其中添加“HOSTNAME=H32”
添加每个服务器IP对应的机器名
三个ip地址都添加到各自的/etc/hosts文件中
每个系统中都要修改成这样
#编辑hosts
vim /etc/hosts
关闭SELinux
#编辑 SELinux 配置文件
vim /etc/selinux/config
#改状态
SELINUX=disabled
SSH设置
进入H30,查看ssh是否安装,如果有,继续,没有安装下。
rpm -qa|grep ssh
时间服务器安装
这里需要安装时间服务器,其他的服务器通过这个来进行多机器时间的同步,分布式部署时机器时间不一致会导致数据错误或组件内通讯错误。
安装httpd服务
httpd是Apache超文本传输协议(HTTP)服务器的主程序。被设计为一个独立运行的后台进程,它会建立一个处理请求的子进程或线程的池。
安装yum-utils
yum install yum-utils 用于在线yum安装 它是基於RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软体包,无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令,而且命令简洁而又好记。(需要机器能访问外网)
准备资源和环境
下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop2.7.3压缩包(本来用hadoop3,发现后面不兼容hive的最新版本)
Java基础知识
由于Hadoop框架源码都是以Java来写,因此最好都以Java作为开发的最佳语言,虽然说有些用C#做了封装,但性能已大打折扣。(这就是为什么说Java的学大数据有很大的优势,其它语言的还需要重新学习Java)
Eclipse IDE使用
Linux和Windows下源码编译技术
还有最重要的是你的网速要好,因为安装过程中会下载依赖包,网不好会卡到你怀疑人生。
最后还需要有耐心,每台机子的环境都不一样,而且每个人下载的包的版本也有可能不一样 会导致各种问题,此时就需要耐心的去看日志,不停的尝试和仔细的对比安装步骤,可能就是少了个变量 或大小写错误或是要重启。
干货丨零基础学习大数据,搭建Hadoop处理环境相关推荐
- 推荐零基础学习大数据的10本经典图书
学习大数据并不是一蹴而就的事情,及时工作多年的开发工程师都需要不断的补充新鲜的知识内容.目前学习大数据知识可以通过视频和图书两种方式学习,视频的优势在于能够将老师的个人开发经验传授给学习者,而图书的优 ...
- 2018年零基础学习大数据路线图
随着大数据越来越火热,薪资越来越高,开始吸引着越来越多的人开始想要投身这个行业.其中有许多朋友的都是大数据零基础,以前并没有接触过大数据相关知识.零基础参加大数据培训难吗?这主要取决于你所学习大数据培 ...
- 零基础学习大数据开发需要多久能工作?
IT行业是最近10年的热点,那么IT行业中的热点又是谁呢?在当今的互联网时代相信没有哪个行业能够出ABC左右,所谓的ABC就是AI + Big Data + Cloud. 当然,这三者中大数据的影响力 ...
- 零基础学习大数据:零基础学习大数据最完整的学习路线
最近很多人都想学习大数据开发,但是却不知道如何开始学习,今天软妹子专门整理了一份针对大数据初学者的大数据开发学习路线.大数据学习资料分析群119599574 下面分十个章节来说明大数据开发要学习的内容 ...
- 零基础学习大数据可以找到工作么?
现在开始学习大数据晚了吗?现在学习大数据后还好就业吗?随着互联网应用基础的不断普及,大数据技术已经成为互联网企业的标配.大数据技术已经在国内持续火爆了几年的时间.每年都有大量的人才涌入到大数据行业中, ...
- python大数据零基础_零基础学习大数据人工智能,学习路线篇!
大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...
- 零基础学习大数据人工智能,学习路线篇!
大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...
- 大数据实验室:零基础学习大数据该看哪些书?
小编身边有很多朋友对大数据行业心向往之,却苦于不知道该如何下手.作为一个无基础大数据入门学习者该看哪些书?今天给大家推荐一位知乎网友挖矿老司机的指导贴,作为参考. 查看全文 http://www.ta ...
- 大数据自学要多久?为什么零基础自学大数据那么久?
伴随着大数据时代的冲击,大数据开发相关的技术人才成为目前招聘市场炙手可热的高薪岗位,越来越多想要通过技术获得高薪工作的同学选择大数据技术方向.我们知道目前学习大数据可以通过自学或者参加培训两种方式,参 ...
最新文章
- 深度学习实战_五天入门深度学习,这里有一份PyTorch实战课程
- php类模块引擎PDO操作MySQL数据库简单阐述
- oracle11gR2静默安装
- LeetCode 344 反转字符串
- java soot_正确执行3个地址代码的SOOT API
- 均值滤波器类型_详解图像滤波原理及实现!
- 成为百万富翁的25种方法
- lnmp的php.ini,lamp/lnmp优化3--phpini
- 7-9 主从复制常见问题
- 一文带你看懂~混沌理论
- Windows下的Neo4j下载与安装
- 数据结构-顺序表基本操作-C语言代码
- 8道经典逻辑推理题(附带答案)
- 入门计算机的粗略学习-Day13
- JAVA时间字符串去空格、冒号和横杠
- 数据集成-5-批数据集成
- 前端基础——做相册、诗词
- 【百问网】七天智能家居实战
- 删除计算机自带的游戏软件,win10系统删除自带游戏的处理办法
- 【Android】【Gradle】解决Manifest merger failed问题
热门文章
- 荐书 | 10 本机器学习电子书,美版 Kindle 免费读
- 解密「天池」:如何做好一场万人AI竞赛的「大后方」?
- 2020 数据分析岗位报告:数据分析师需要哪些能力?
- 近期活动盘点:高级机器学习训练营、基于神经网络的代码自动生成” “开放学术图谱”、西山金融科技产业创新论坛...
- 技术安全与伦理的较量:论道AI的能与不能 | AI Time
- RONG出创新—2019年度春季学期“医工结合系列研讨会”圆满落幕
- LeetCode: 102. Binary Tree Level Order Traversal
- 六项任务、多种数据类型,谷歌、DeepMind提出高效Transformer评估基准
- 这41条科研经验,让你少走很多弯路!
- 投资83亿!“双一流”高校异地落户,传来新消息!