【Hadoop大数据分析与挖掘实战】（一）----------P19~22

　　这是一本书的名字，叫做【Hadoop大数据分析与挖掘实战】，我从2017.1开始学习

　　软件版本为Centos6.4 64bit，VMware，Hadoop2.6.0，JDK1.7.

　　但是这本书的出版时间为2016.1，待到我2017.1使用时，一部分内容已经发生了翻天覆地的变化。

　　于是我开始写这么一个博客，把这些记录下来。

　　我使用的软件版本为：

软件	版本
操作系统	CentOS 7 64bit-1611
虚拟机	VMware 12.5.2
Hadoop	2.7.3
JDK	1.8.0

　　本人大二学生，只是想记录一下，谢绝转载，谢谢。

顺便留个联系方式吧——qq690855226

=============================================

2.2安装与配置

1.配置VMware网络

　　我使用了桥接模式（复制物理网络连接状态），和真实机使用了相同的网关，没有按照书中的进行查询。

2.准备机器

　　通过VMware新建一台CentOS 7虚拟机，使用root用户登录，添加一个新用户hadoop。设置hadoop用户的密码并授予hadoop用户sudo权限。

[root@localhost ~]$ useradd hadoop
[root@localhost ~]$ passwd hadoop
[root@localhost ~]$ chmod u + w /etc/sudoers
[root@localhost ~]$ vim /etc/sudoers
#在root ALL=(ALL) ALL下添加hadoop ALL=(ALL) ALL
[root@localhost ~]$ chomd u - w /etc/sudoers

　　其中chmod的用法和vim编辑器的用法可以自行百度。

3.设置静态IP

　　VMware默认使用动态IP，但是由于Hadoop集群是使用机器名进行定位的，在/etc/hosts中配置了机器名和IP的映射，如果IP不断变化，则需要不断修改配置文件，所以这里需要把IP设置为静态，方便后面的操作。

　　1）修改/etc/sysconfig/network-scripts/ifcfg-******。

　　每个人需要修改的文件名不同，书中修改的文件为ifcfg-eth0，其中eth0是其网卡名。在我的虚拟机中修改的是ifcfg-ens33。可以自行使用ifconfig命令进行查看。

[root@localhost ~]$ vim /etc/sysconfig/network-scripts/ifcfg-ens33
#需要修改的内容如下（如果没有这一项就自己添加上）：
DEVICE=ens33 #名称填自己网卡名称
BOOTPROTO=static #静态IP
ONBOOT=yes #设置开机自动启动
IPADDR=192.168.0.131 #IP地址
GATEWAY=192.168.0.1 #网关
DNS1=192.168.0.1 #DNS服务器
HWADDR=00:0C:29:B7:73:4F #MAC地址①注
NETMASK=255.255.255.0 #这么填就对了
TYPE=Ethernet #这一块我也不懂
IPV6INIT=no #禁用IPV6

　　注①：mac地址查看方法：虚拟机——设置——网络适配器——高级——MAC地址

　　2）修改/etc/sysconfig/network。设置主机名称和启动NETWORK与否。

[root@localhost ~]$ vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=localhost.localdomain
GATEWAY=192.168.0.1

　　3）修改DNS信息。

　　书中手工设置 /etc/resolv.conf 里的DNS，使用source（！）时会对nameserver和search报错，找不到命令。于是我找到了一篇博客文章：《CentOS 7 下，如何设置DNS服务器》

　　以下为文中内容：

　　在CentOS 7下，手工设置 /etc/resolv.conf 里的DNS，过了一会，发现被系统重新覆盖或者清除了。和CentOS 6下的设置DNS方法不同，有几种方式：

　　 ①使用全新的命令行工具 nmcli 来设置

#显示当前网络连接
#nmcli connection show
NAME　　 UUID                                  TYPE            DEVICE
ens33   76d23444-4b71-498b-9a0b-fd2d2d9de735  802-3-ethernet  ens33  virbr0  a1015131-ba11-4ecc-81a3-9c9e27eaba32  bridge          virbr0 #修改当前网络连接对应的DNS服务器，这里的网络连接可以用名称或者UUID来标识
#nmcli con mod ens33 ipv4.dns "192.168.0.1"#将dns配置生效
#nmcli con up ens33

　　②使用传统方法，手工修改 /etc/resolv.conf

修改 /etc/NetworkManager/NetworkManager.conf 文件，在main部分添加 “dns=none” 选项：

[main]
plugins=ifcfg-rh
dns=none

NetworkManager重新装载上面修改的配置

# systemctl restart NetworkManager.service

手工修改 /etc/resolv.conf

nameserver 192.168.0.1

　　详细参见：

# man NetworkManager.conf
# man nmcli

　　4）关闭防火墙并修改其启动策略为不开机启动。

　　CentOS 6中使用service iptables stop 及 chkconfig iptables off进行设置。

　　CentOS 7中使用systemctl工具管理这些服务。

　　可以使用systemctl list-unit-files | grep enabled查看服务中enabled项，可以看到firewalld.service已启用。

#禁用防火墙
[root@localhost ~]$ systemctl stop firewalld.service
#禁止开机启动防火墙，如需启用，把disable改成enable
[root@localhost ~]$ systemctl disable firewalld.service
#显示一个服务状态
[root@localhost ~]$ systemctl status firewalld.service

4.安装JDK

　　1）使用yum search jdk在线查找jdk列表，任意选择一个版本，我选择了最新版，即1.8.0。

[root@localhost ~]$ yum search jdk
[root@localhost ~]$ yum install java-1.8.0-openjdk-devel.x86_64 -y

　　2）配置Java环境变量。

　　其中还配置了maven的环境变量，但是maven没有安装过，不知道是为什么。我找了一下，maven的下载地址是：http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz ，下载完成后直接解压即可使用，我解压到了/home/hadoop/opt中，所以下文中配置环境变量添加了一条/home/hadoop/opt/apache-maven-3.3.9/bin

[root@localhost ~]$ whereis java
[root@localhost ~]$ ll /usr/bin/java
[root@localhost ~]$ ll /etc/alternatives/java #这时可以看到JDK路径了
#修改配置文件
[root@localhost ~]$ vim /etc/profile
#在末尾追加export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64export MAVEN_HOME=/home/hadoop/opt/apache-maven-3.3.9export JRE_HOME=$JAVA_HOME/jreexport PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATHexport CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#保存配置后使用source命令使配置立即生效[root@localhost ~]$ source /etc/profile

　　3）使用java -version命令查看环境变量配置是否成功。

[root@localhost ~]# java -version
openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

　　至此，完成JDK的安装和配置，接下来使用VMware克隆两台机器，并分别设置静态IP地址为192.168.0.132，192.168.0.133。（创建连接克隆）

　　书中提示：克隆完成，启动机器后，会出现没有网络设备信息，无法连接网络的情况。

　　但是我在实际使用中没有发现这种情况。

　　可以查看下载Hadoop大数据分析与挖掘实战这本书去看。我就不写上来了。

转载于:https://www.cnblogs.com/Hootin-Pang/p/6328382.html

【Hadoop大数据分析与挖掘实战】（一）----------P19~22相关推荐

hadoop大数据分析与挖掘实战（读书笔记3）
启动Hadoop 设置环境变量,设置了. 修改配置文件 /etc/hadoop/core-site.xml 也修改了配置文件 /etc/hadoop/hdfs-site.xml 还修改了配置文件 /e ...
Python大数据分析与挖掘实战微课版答案 Python大数据分析与挖掘实战课后答案例题课后作业 python题目 python题库数据分析与挖掘题库数据分析与挖掘项目
(在此仅展示题目,所有数据.代码.答案.习题等点我头像,在资源中!!!) 以下关于pandas 数据预处理说法正确的是(). A. pandas没有做哑变量的函数 B. 在不导入其他厍的情况下,仅仅使 ...
python大数据分析股票对比_Python大数据分析与挖掘实战第7章基于财务与交易数据的量化投资分析.pptx...
;随着我国证券市场的不断壮大,证券及证券投资在社会经济生活中的地位也越来越重要,上市公司的数量也不断增加,目前在上海证券交易所和深圳证券交易所上市交易的公司已经达到3700多家.投资者面对如此众多的不 ...
《R与Hadoop大数据分析实战》一1.6　HDFS和MapReduce架构
本节书摘来自华章出版社<R与Hadoop大数据分析实战>一书中的第1章,第1.6节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区"华章计算机&qu ...
《R与Hadoop大数据分析实战》一2.6　小结
本节书摘来自华章出版社<R与Hadoop大数据分析实战>一书中的第2章,第2.6节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区"华章计算机&qu ...
大数据培训课程分享：Python数据分析与挖掘实战课程介绍
<Python数据分析与挖掘实战>课程内容以Python数据分析与挖掘的常用技术与真实案例相结合的方式,深入浅出地介绍Python数据分析与挖掘的重要内容,共分为基础篇(第1~5章)和实战 ...
全国大学生大数据技能竞赛——基于Scala和Echart的大数据分析与挖掘
基于Scala和Echart的大数据分析与挖掘题目三:大数据分析与挖掘案例 Spark基站统计分析 Scala语法基础数据读取 1．读取文件数据 (1)按行读取 (2)按字符读取 2．写入数据数 ...
python数据分析与挖掘实战配套资源_[课程学习]Python数据分析与挖掘实战配套完整数据和源代码 rar文件[25.46MB]-码姐姐下载...
该资源为<python数据分析与挖掘实战>一书的配套的资源代码,鉴于大多数读者很难找到此资源,特此分... 大小:20.99MB | 2020-05-14 19:07:04 本资源是pyt ...
《Python数据分析与挖掘实战》一3.1　数据质量分析
本节书摘来自华章出版社<Python数据分析与挖掘实战>一书中的第3章,第3.1节,作者张良均王路谭立云苏剑林,更多章节内容可以访问云栖社区"华章计算机"公众号 ...

【Hadoop大数据分析与挖掘实战】（一）----------P19~22

【Hadoop大数据分析与挖掘实战】（一）----------P19~22相关推荐

最新文章

热门文章