1.1 操作系统

centos服务器运维

由于我们Sinesafe的客户要求网站的服务器要装Centos7版本所以给大家分享下安装的过程与经验,如果需要深入的服务器运维服务也可以找我们。

机器域名 机器别名

xxx.xxx.xxx.xxx bigdata1 xxx.xxx.xxx.xxx bigdata2 xxx.xxx.xxx.xxx bigdata3

3台机器用户名和密码：

用户名 密码

root xxxx bigdata xxxxx

1.1.1 装机注意事项

一、 U盘安装的时候报错的解决方案

二、修改/etc/resolv.conf,将配置中的值改成

nameserver 202.xxx.xxx.xx 前面两个要和测试服务器上的这两个nameserver保持一致

nameserver 202.xxx.xxx.xx 这两个用于联网使用

nameserver 8.8.8.8 下面这两个必须有，否则在使用yum的时候使用不了

nameserver 8.8.4.4

三、修改/etc/sysconfig/network-scprits/ifcfg-*，内容如下：

TYPE="Ethernet"

PROXY_METHOD="none"

BROWSER_ONLY="no"

BOOTPROTO="static"

DEFROUTE="yes"

IPV4_FAILURE_FATAL="no"

IPV6INIT="yes"

IPV6_AUTOCONF="yes"

IPV6_DEFROUTE="yes"

IPV6_FAILURE_FATAL="no"

IPV6_ADDR_GEN_MODE="stable-privacy"

NAME="enp3s0"

UUID="xxxxxxxxxxxxxxxxxxxxxxxx"

DEVICE="enp3s0"

ONBOOT="yes"

IPADDR="xxx.xxx.xxx.xxx"

IPADDR1="xxx.xxx.xxx.xxx" #这里是虚拟ip

PREFIX="24"

GATEWAY="xxx.xxx.xxx.xxx"

IPV6_PRIVACY="no"

DNS1=xxx.xxx.xxx.xxx

DNS2=xxx.xxx.xxx.xxx

DNS3=8.8.8.8

DNS4=8.8.4.4

修改完成之后，执行重启网络配置命令：

service network restart

四、修改hosts,hostname.效果如下：

[root@bigdata3 ~]# cat /etc/hosts （3台服务器的这个配置一致）

#127.0.0.1 localhost localhost.localdo:wqmain localhost4 localhost4.localdomain4

#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.18.140 bigdata1

192.168.18.141 bigdata2

192.168.18.142 bigdata3

[root@bigdata3 ~]#

[root@bigdata1 ~]# cat /etc/hostname

bigdata1

[root@bigdata2 ~]# cat /etc/hostname

bigdata2

[root@bigdata3 ~]# cat /etc/hostname

bigdata3

五、为了让服务能够被远程工具连接，配置/etc/ssh/sshd_config中监听的端口和ip地址

Port 22 这里可以不放开，默认是22端口

PermitRootLogin yes

PasswordAuthentication yes

即：将/etc/ssh下的sshd_config文件中的，关于监听端口、监听地址前的#号去除。

六、centos yum报错Loaded plugins: fastestmirror

vim /etc/yum/pluginconf.d/fastestmirror.conf

enabled = 0

vim /etc/yum.conf

plugins=0

yum clean dbcache

如果发现还是不可以使用yum命令安装各种软件，这时候说明是DNS的配置有问题

解决办法是：

A：修改vim /etc/sysconfig/network-scripts/ifcfg-eth

添加如下内容：

ONBOOT=yes

MM_CONTROLLED=no 这个若没有添加上去

DNS1=8.8.8.8

DNS2=8.8.4.4

上面的dns名称不能重复

同时在/etc/resolv.conf中添加：

nameserver 8.8.8.8

nameserver 8.8.4.4

然后重启项目即可

六、安装wget

yum –y install wget

七、更新安装vim，安装vim增强包

yum –y install vim-enhanced

八、解决netstat:command not found问题

yum install net-tools

九、Centos7防火墙配置：

将默认Firewall改为iptables防火墙

关闭firewall:

service network restart #重启网络

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止Firewall开启启动

firewall-cmd –state #查看默认防火墙状态（关闭后显示notrunning,开启后显示running）

配置iptable防火墙

vi /etc/sysconfig/iptables #编辑防火墙配置文件

# sampleconfiguration for iptables service

# you can edit thismanually or use system-config-firewall

# please do not askus to add additional ports/services to this default configuration

*filter <!-- 本行请查看下面备注-->

:INPUT ACCEPT [0:0]

:FORWARD ACCEPT[0:0]

:OUTPUT ACCEPT[0:0]

-A INPUT -m state--state RELATED,ESTABLISHED -j ACCEPT

-A INPUT -p icmp -jACCEPT

-A INPUT -i lo -jACCEPT

-A INPUT -p tcp -mstate --state NEW -m tcp --dport 22 -j ACCEPT

-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -jACCEPT

-A INPUT -p tcp -m state --state NEW -m tcp --dport 8080-j ACCEPT

-A INPUT -j REJECT--reject-with icmp-host-prohibited

-A FORWARD -jREJECT --reject-with icmp-host-prohibited

COMMIT

:wq! #保存退出

备注：这里使用80和8080端口为例

filter

以上部分一般添加到下行的上面或者下面

-A INPUT -p tcp -mstate --state NEW -m tcp --dport 22 -j ACCEPT

切记不要添加到最后一行，否则防火墙重启后不生效

systemctl restart iptables.service #最后重启防火墙使配置生效systemctl enable iptables.service #设置防火墙开机启动

它防火墙参数配置：

其修改防火墙配置文件之前，需要对之前防火墙做好备份

重启防火墙后，需要确认防火墙状态和防火墙规则是否加载，若重启失败或规则加载失败，则所有请求都会被防火墙

firewall-cmd --state

#查看firewall的状态

firewall-cmd --list-all

#查看防火墙规则（只显示/etc/firewalld/zones/public.xml中防火墙策略）

firewall-cmd --list-all-zones

#查看所有的防火墙策略（即显示/etc/firewalld/zones/下的所有策略）

firewall-cmd --reload

#重新加载配置文件

2、关闭firewall：

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

1、firewalld的基本使用

启动： systemctl start firewalld

查看状态： systemctl status firewalld

停止： systemctl disable firewalld

禁用： systemctl stop firewalld

2.systemctl是CentOS7的服务管理工具中主要的工具，它融合之前service和chkconfig的功能于一体。

启动一个服务：systemctl start firewalld.service

关闭一个服务：systemctl stop firewalld.service

重启一个服务：systemctl restart firewalld.service

显示一个服务的状态：systemctl status firewalld.service

在开机时启用一个服务：systemctl enable firewalld.service

在开机时禁用一个服务：systemctl disable firewalld.service

查看服务是否开机启动：systemctl is-enabled firewalld.service

查看已启动的服务列表：systemctl list-unit-files|grep enabled

查看启动失败的服务列表：systemctl --failed

3.配置firewalld-cmd

查看版本： firewall-cmd --version

查看帮助： firewall-cmd --help

显示状态： firewall-cmd --state

查看所有打开的端口： firewall-cmd --zone=public --list-ports

更新防火墙规则： firewall-cmd --reload

查看区域信息: firewall-cmd --get-active-zones

查看指定接口所属区域： firewall-cmd --get-zone-of-interface=eth0

拒绝所有包：firewall-cmd --panic-on

取消拒绝状态： firewall-cmd --panic-off

查看是否拒绝： firewall-cmd --query-panic

那怎么开启一个端口呢

添加firewall-cmd --zone=public --add-port=80/tcp --permanent （--permanent永久生效，没有此参数重启后失效）

重新载入firewall-cmd --reload

查看firewall-cmd --zone= public --query-port=80/tcp

删除firewall-cmd --zone= public --remove-port=80/tcp --permanent

因为在/usr/lib/firewalld/services/中事先定义了ssh.xml的相应的规则

十、关闭selinux

关闭selinux：修改/etc/selinux/config文件中的SELINUX="" 为 disabled ，然后重启

1.2 下载软件

软件清单：

jdk-8u73-linux-x64.tar.gz Java JDK1.8+环境

apache-maven-3.3.9-bin.tar.gz Maven安装文件

apache-tomcat-8.5.12.tar.gz Tomcat安装包

MySQL-5.7.21-linux-glibc2.12-x86_64.tar.gz MySQL5.7

zookeeper-3.4.11.tar.gz Zookeeper安装软件

hadoop-3.0.0.tar.gz Hadoop安装软件

apache-hive-2.3.2-bin.tar.gz 数据仓库之hive

apache-flume-1.8.0-bin.tar.gz 日志收集框架二进制

sqoop-1.4.7.tar.gz 关系型数据库和hdfs数据之间转换的工具

apache-storm-1.2.1.tar.gz 实时数据处理之storm安装包

azkaban-master-source.zip 任务调度所需的源码包

spark-2.3.0-bin-hadoop2.7.tgz Spark之针对hadoop2.7版本的安装包

scala-2.13.0-M3.zip Spark编写所需的scala语言包

hbase-1.4.2-bin.tar.gz Hbase安装包

elasticsearch-6.2.2.rpm ES之Linux rpm安装包

elasticsearch-6.2.2.tar.gz ES值Linux tar安装包

logstash-6.2.2.rpm ELK之logstash日志收集框架

logstash-6.2.2.tar.gz ELK之logstash日志收集框架tar包

kibana-6.2.2-linux-x86_64.tar.gz ELK套件之视图展示用框架

kibana-6.2.2-x86_64.rpm ELK套件之视图展示用框架rpm安装包

redis-3.2.9.tar.gz redis安装包

kylin Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据

presto Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节.

Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题

1.3 上传安装包

将安装文件上传到：/home/bigdata/software

1.4 3台服务器间的免密登录

在bigdata1、bigdata2、bigdata3下执行：

ssh-keygen -t rsa （这个过程中一致打enter）

ssh-copy-id bigdata1

ssh-copy-id bigdata2

ssh-copy-id bigdata3

执行完成上面的命令之后，分别bigdata1、bigdata2、bigdata3上执行：

ssh bigdata1

ssh bigdata2

ssh bigdata3

按照如果最后能够免密码登录进去，说明免密登录成功

1.5 搭建ntp时间服务器

让Linux上的时间和网络时间保持一致，避免一些时间不一致的问题（必须在root命令下执行）

[root@bigdata1 ~]# yum install -y ntp

[root@bigdata1 ~]# ntpdate pool.ntp.org && hwclock -w

1.6 常见命令

查看常见命令

查看机器上运行端口

netstat –tunlp

查看某个端口运行在哪个位置

ps –ef | grep PID (PID即上面netstat –tunlp中查看出来的PID)

centos7下查看哪些端口开放了

firewall-cmd –list-ports

防火墙开放端口：

firewall-cmd --zone=public --add-port=80/tcp –permanent

命令含义：

–zone #作用域

–add-port=80/tcp #添加端口，格式为：端口/通讯协议

–permanent #永久生效，没有此参数重启后失效

firewall-cmd --reload #重启firewall

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

通过iptables的方式查看开放的端口：

/etc/init.d/iptables status

查看某个文件夹下含有某个字符串的命令：

grep -rl 'mysqld' ./

安装telnet

[root@bigdata3 ~]# yum install net-tools

专注于安全领域 解决网站安全 解决网站被黑 网站被挂马 网站被篡改 网站安全、服务器安全提供商-www.sinesafe.com --专门解决其他人解决不了的网站安全问题.