大数据入门学习之环境搭建
一：环境搭建：VM、CentOS7安装及网络配置
大数据入门首先需要搭建环境，接下来的三篇文章均是环境搭建部分的内容。
首先我们要安装虚拟机及linux系统
一、安装虚拟机VM
官网下载VM虚拟机：这里下载的VMware-workstation-full-10.0.4，好像往后的高版本需要win系统为64位，根据自己的需求下载安装。
二、安装CentOS7
1、官网下载：我下载的是CentOS-7-x86_64-DVD-1804.iso文件。
2、安装过程（略）：自行百度安装，按照步骤安装无问题，可根据需要选择最小化安装，安装至最后一步骤时最好创建一个用户。
3、复制出另外两台虚拟机，并对每台虚拟机命名为master、slave1、slave2。
三、网络配置
1、配置网络为NAT模式，三台均需要配置；
2、修改网卡配置，三台均需要修改
cd /etc/sysconfig/network-scripts
vim ifcfg-ens33
添加内容：IPADDR=192.168.198.21 //ip地址
添加内容：NETMASK=255.255.255.0
添加内容：GATEWAY=192.168.198.2 //网关
添加内容：DNS1=8.8.8.8
3、配置完成后重启网络服务
/etc/init.d/network restart 或
service network restart
4、测试访问外网是否通
curl www.baidu.com
ping www.baidu.com
5、分别用securecrt连接centos
5.1.如何安装及注册SecureCRT教程
http://blog.csdn.net/stephenbruce/article/details/48649625
5.2.如何用SecureCRT连接vm的虚拟机教程：
http://www.cnblogs.com/shuangxinye/p/6283171.html
6、修改hosts
vim /etc/hosts
7、修改hostname
hostnamectl set-hostname master
使用这种方式修改，可以永久性的修改主机名称！
二：环境搭建：jdk1.8安装及环境配置
接下来就要安装在操作系统上运作的大数据核心hadoop分布式系统基础架构！Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS，Hadoop的框架最核心的设计就是:HDFS和MapReduce：HDFS为海量的数据提供了存储，而MapReduce为海量的数据提供了计算，因此安装完hadoop以后我们可以进行hdfs文件存储、访问，也可以进行mapreduce实践操作，真正体验户在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣扣群：458数字345数字782，欢迎添加，私信管理员，了解课程介绍，获取学习资源
首先要明白：hadoop需要以下两个软件才能进行搭建
hadoop-2.6.1.tar.gz
jdk-8u172-linux-x64.tar.gz
本文我们先安装java jdk1.8.0
一、设置共享文件夹
0. 安装vmware tools,在虚拟机中版本更新里面选取安装即可,若不成功，按如下安装：
1. mount /dev/cdrom/media 加载文件系统到指定的加载点，常用于挂在cdrom,使我们可以访问cdrom中的数据;
2. tar xvzf VmwareTools-9.6.2-/688356.tar.gz将安装文件夹拷贝至自己的目录中并解压;
3../vmware-install.pl进入解压好的目录后运行此安装命令;
4. vmware-hgfsclient查看共享目录此时应显示共享目录share-folder;
5. vmhgfs-fuse .host:/ /mnt/hgfs挂载目录;
6. cd /mnt/hgfs/share-folser进入目录。
二、安装jdk1.8
0. 从共享目录拷贝至安装目录并解压：
cp jdk-8u172-linux-x64.tar.gz /usr/local/src
tar xvzf jdk-8u172-linux-x64.tar.gz
1. 设置环境变量
vim ~/.bashrc
添加java路径如下：
#java
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
2. 检查是否安装成功
java运行java；
which java查看java信息；
java -version查看java版本。
3. 拷贝解压包至slave1、slave2中并设置.bashrc文件
scp -rp jdk1.8.0-172 192.168.198.22:/usr/local/src/
scp -rp jdk1.8.0-172 192.168.198.23:/usr/local/src/
.bashrc文件配置和master中一样！
4. 分别检查三台机器都能运行java
至此java安装完成！
三、先安装一些依赖包
yum -y update #更新yum包
yum install -y vim
yum install -y net-tools
yum install -y gcc
yum install -y prel
yum install -y kernel-headers
三：环境搭建：Hadoop2.0安装及配置
首先要明白：hadoop需要以下两个软件才能进行搭建
hadoop-2.6.1.tar.gz
jdk-8u172-linux-x64.tar.gz（上篇已介绍）
一、安装Hadoop2.6.1并配置
0. 下载安装包至共享目录：
1.cp hadoop-2.6.1.tar.gz /usr/local/src拷贝安装包；
2.tar xvzf hadoop-2.6.1.tar.gz解压；
3. 创建临时目录及文件目录：
mkdir /usr/local/src/hadoop-2.6.1/tmp
mkdir /usr/local/src/hadoop-2.6.1/dfs/name
mkdir /usr/local/src/hadoop-2.6.1/dfs/data
4. 修改hadoop配置文件：
cd /usr/local/src/hadoop-2.6.1/etc/hadoop
1) vim hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
2) vim yarn-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_172
3) vim slaves
slave1
slave2
4) vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.198.21:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/tmp</value>
</property>
</configuration>
5) vim hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/data</value>
</property>
<property>
<name>dfs.repliction</name>
<value>2此处设置为2比较合适，因为从节点为2个
</property>
</configuration>
6) vim mapred-site.xml（注：此文件需自己创建，不能用mapred-site.xml.template）
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
7) vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
5.配置环境变量（注：三台机器都要配置）
vim ~/.bashrc
#hadoop
export HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export PATH=$PATH:$HADOOP_HOME/bin
source ~/.bashrc
6. 拷贝安装包
scp -rp hadoop-2.6.1 192.168.198.22:/usr/local/src/
scp -rp hadoop-2.6.1 192.168.198.23:/usr/local/src/
7. 启动集群
在启动集群之前需按顺序做两件事：
1）
关闭防火墙：
firewall-cmd --state 此时显示running
systemctl disabled firewalld 或
systemctl stop firewalld
在查看防火墙应该为not running即已关闭
关闭Selinux:
vim /etc/selinux/config
将SELINUX=””改为disabled重启后永久关闭
2） 格式化
hadoop namenode -formate
注：只能格式化一次，如果多次格式化可能引起错误，此时需要将之前建的tmp、data、name文件夹删除再重新建，在重新格式化！
3） 启动集群
cd /hadoop-2.6.1/sbin
./start-all.sh
4) 查看集群状态
master:
slave1
slave2:
8. 设置互信
1) 生成公钥
ssh-keygen 回车回车回车
2） 配置文件
cd ~/.ssh进入隐藏目录
获取master的公钥放在authorized_keys文件中：
cat id_rsa.pub > authorized_keys
将slave1、slave2的公钥复制到master上的authorized_keys文件中
再将authorized_keys文件拷贝至slave1、slave2上
scp -rp authorized_keys 192.168.198.22:~/.ssh
scp -rp authorized_keys 192.168.198.23:~/.ssh
3） 检测互信是否成功
在master上输入ssh salve1
将会切换为slave1主机名，说明成功
退出：exit
9. 集群操作
hadoop fs -ls /
hadoop fs -put 1.data /
等命令运行无误说明集群已经配置成功
10. 关闭集群
./sbin/hadoop stop-all.sh
至此，hadoop环境安装搭建完成，接下来可以进行实践了！
大数据入门学习之环境搭建相关推荐
- Python+大数据-知行教育(一)-环境搭建 数据仓库
Python+大数据-知行教育(一)-环境搭建 数据仓库 1. 教育项目的数仓分层 回顾: 原有的基础分层 ODS层: 源数据层作用: 对接数据源, 和数据源的数据保持相同的粒度(将数据源的数据完整的 ...
- 好程序员大数据培训分享怎样进行大数据入门学习
好程序员大数据培训分享怎样进行大数据入门学习,对于大数据的入门学习,基础不一样,起点就会不一样. 今天先来说说,对于零基础的同学想要学习大数据的方式方法吧!很多人可能感到不可思议,零基础怎么可能学习大 ...
- 大数据入门学习必备指南
大数据方向的工作目前分为三个主要方向: 01.大数据工程师 02.数据分析师 03.大数据科学家 04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧) 一.大数据工程 ...
- 大数据各子项目的环境搭建之建立与删除软连接（博主推荐）
建立软连接,好处可以处理多个版本的需要,方便环境变量的配置.相当于windows下的快捷方式! 博主,我这里以jdk为例,对于大数据的其他子项目的搭建,一样的操作.方便!这里我不多赘述. 如何建立jd ...
- 大数据基础（hadoop环境搭建及使用）
大数据 大数据概念 大数据特点(4V) Volume(大量) Velocity(高速) Variety(多样) Value(低价值密度) Hadoop Hadoop是什么 Hadoop 三大发行版本 ...
- 大数据入门学习：SQL与NOSQL数据库
这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者.有自学hadoop的,有报名培训班学习的.所有接触过hadoop的人都知道,单独搭建hadoop里每个组建都需要运行环境.修改配置文件测试 ...
- 大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
- 大数据入门学习必读好书推荐，请收藏！
身处于一个大数据时代,大数据无疑是近期最时髦的词汇了. 不管是云计算.社交网络,还是物联网.移动互联网和智慧城市,都要与大数据搭上联系. 随着云计算.移动互联网和物联网等新一代信息技术的创新和应用普及 ...
- 《OD大数据实战》MongoDB环境搭建
一.MongonDB环境搭建 1. 下载 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz 2. 解压 tar -zxvf ...
最新文章
- css3树形图,CSS3 树形堆栈
- python3入门书籍-学习python3入门书籍选哪些？
- EasyUI-DataGrid之批量删除
- 虚拟机vmware11装Mac ox 10.8 解决windows8.1下unlocker202 vmxsmc.exe已停止工作的问题
- 【渝粤教育】电大中专药事管理与法规 (2)作业 题库
- 责任分配矩阵和raci的区别_PyTorch学习笔记——repeat()和expand()区别
- java8 interface_Java8新特性:函数式接口@FunctionalInterface使用说明
- H5测试是怎么做的？
- FFMPEG中最关键的结构体之间的关系
- 空调微型计算机控制,空调自动控制
- python画散点图
- talib如何安装方法
- 【Pix4d精品教程】Pix4d模型成果导出OSGB并加载OSGB到EPS进行三维测图完美案例教程
- R语言 openair 做后向轨迹
- docker swarm 官方文档
- win7计算机还原点建立,Win7中如何创建系统还原点
- AutoCAD Civil 3D-用Civil 3D建立路面
- 【python爬虫】easyocr识别gif图片文字
- LeetCode--第25题K个一组翻转链表
- Cloudera搭建部署