大数据比赛笔记（一）基本环境配置

大数据比赛需要用到的命令

1.修改主机名

在master执行

hostnamectl set-hostname master

立即生效：

bash

修改slave1和slave2的

hostnamectl set-hostname slave1

hostnamectl set-hostname slave2

2.配置本地源

将本地源文件下载到/etc/yum.repos.d/目录下或者已有本地源，可以不做这一部分

进入yum源配置文件

cd /etc/yum.repos.d

删除所有文件

rm -rf *

下载yum源或者本地已有源

wget http://ip地址/bigdata.repo

清除YUM缓存

yum clean all

配置hosts文件

根据赛题设置为master、slave1、slave2。

vim/etc/hosts

ip1 master

ip2 slave1

ip3 slave2

3.关闭防火墙

systemctl stop firewalld

查看状态

systemctl status firewalld

4.时间同步

echo "TZ='Asia/Shanghai'; export TZ" >> /etc/profile && source /etc/profile

查看时区 timedatectl | grep "Time zone"

5.安装ntp

yum install -y ntp

master作为ntp服务器

修改ntp配置文件

屏蔽掉默认的server，设置master作为时钟源，设置时间服务器的层级为10。

vim /etc/ntp.conf

#注释掉server 0 ~ n，新增

server 127.127.1.0

fudge 127.127.1.0 stratum 10

重启ntp服务(master上执行)

/bin/systemctl restart ntpd.service

slave1，slave2操作

ntpdate master

6.制作定时任务

crontab -e

输入i

添加定时任务

*/30 8-17 * * */usr/sbin/ntpdate master 早8晚五时间段每隔半个小时同步

*/10 * * * */usr/sbin/ntpdate master 每隔10分钟同步一次

*/30 10-17 * * */usr/sbin/ntpdate master 早十晚五时间段每隔半个小时同步

查看定时任务列表

crontab –l

7.配置ssh免密

在master上执行如下命令生成rsa或者dsa公私密钥：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

或者

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

公钥文添加到授权文件

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

或者

cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys

授权文件发送到slave1，slave2

scp ~/.ssh/authorized_keysroot@slave1:~/.ssh/

scp ~/.ssh/authorized_keysroot@slave2:~/.ssh/

8.java jdk安装

建立工作路径/usr/java

mkdir -p /usr/java

cd /usr/java

下载java安装包(master上执行)或按比赛提示进入相应安装包

wget http://ip/bigdata/bigdata_tar/jdk-8u171-linux-x64.tar.gz

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/java/

rm -rf /usr/java/jdk-8u221-linux-x64.tar.gz

修改环境变量：

vim/etc/profile

添加内容如下：

export JAVA_HOME=/usr/java/jdk1.8.0_221

export CLASSPATH=$JAVA_HOME/lib/

export PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

生效环境变量：

source /etc/profile

查看 java 版本：

java -version

在 master 中将安装好的 JDK 复制到 slave1 和 slave2 中

scp -r /usr/java root@slave1:/usr/

scp -r /usr/java root@slave2:/usr/

基础环境运维完毕。

大数据比赛笔记（一）基本环境配置相关推荐

大数据学习笔记03：安装配置CentOS7虚拟机
学习笔记<安装配置CentOS7虚拟机>下载链接:https://pan.baidu.com/s/1wxRh3ggzxZtzQshqMy_A8g 提取码:71yw
大数据学习笔记：创建与配置虚拟机[Ubuntu + CentOS]
文章目录一.创建虚拟机 (一)创建四个虚拟机 (二)查看网络拓扑结构二.配置虚拟机 (一)配置ubuntu虚拟机 (二)配置master虚拟机 (三)配置slave1虚拟机 (四)配置slave2 ...
大数据学习笔记：Hadoop生态系统
文章目录一.Hadoop是什么二.Hadoop生态系统图三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
【大数据入门笔记系列】第六节分布式计算框架MapReduce的工作流程
[大数据入门笔记系列]第六节分布式计算框架MapReduce的工作流程前言 MapReduce分布式运算 MapReduceApplication MapTask ReduceTask split ...
大数据学习笔记第1课 Hadoop基础理论与集群搭建
大数据学习笔记第1课 Hadoop基础理论与集群搭建一.环境准备二.下载JDK 三.安装JDK 四.下载hadoop 五.安装hadoop集群六.打通3台服务器的免密登录七.hadoop集群配 ...
大数据学习过程笔记——第一阶段
大数据学习过程笔记大数据学习视频网址推荐博客 Hadoop安装配置说明页 Hadoop架构介绍 -> CentOS可能会用到的依赖: yum -y install gcc gcc-c++ au ...
03 大数据hadoop发展简史及环境安装
文章目录大数据hadoop发展简史及环境安装 1.hadoop的介绍以及发展历史 2.hadoop的历史版本介绍 3.hadoop三大公司发型版本介绍 3.1免费开源版本apache: 3.2免费开 ...
Python + 大数据-Hadoop生态-Linux(一)-环境搭建和Vi
Python + 大数据-Hadoop生态-Linux(一)-环境搭建和Vi 今日课程学习目标 1.了解Linux操作系统发展介绍.安装配置 2.掌握SSH原理机制.Linux文件上传下载 3.掌握L ...
【大数据入门笔记系列】第一节大数据常用组件
[大数据入门笔记系列]第一节大数据常用组件大数据释义大数据组件跳转大数据释义近些年来,坊间一直流传着这样的言论:"大数据时代,人人都在裸奔".对于外行人来说,对于&qu ...
大数据介绍、集群环境搭建、Hadoop介绍、HDFS入门介绍
大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍文章目录大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍 1.课前资料 2.课程整体介绍 3.大数据介绍 3.1 什么是大数 ...

大数据比赛笔记（一）基本环境配置

大数据比赛笔记（一）基本环境配置相关推荐

最新文章

热门文章