部署LNMP动态网站及网站架构变迁
1:网站架构演变
学习从单机架构到集群架构的演变之路:
- 单机版LNMP
- 独立数据库服务器
- Web服务器集群与Session保持
- 动静分离、数据库集群
- 各种缓存服务器
- 业务模型
单机版LNMP
单机版网站,拓扑如图所示。
单机版网站服务器用户量少时使用,简单、成本低、存在单点故障。
独立数据库服务器
独立数据库服务器是将网站静态文件、代码文件等资料与数据库分离的架构,当用户量增加时单机的处理能力有限,PHP或JAVA代码的执行需要消耗大量CPU资源,数据库的增删改查需要调用大量的内存资源,将两者分离可以减轻服务器的压力,其拓扑结构如图所示。
web服务器与数据库分离
Web服务器和数据库服务器的压力都可以得到有效改善,访问量有所增加。但是服务器依然存在单点故障问题。
Web服务器集群与Session保持
我们可以通过Nginx、HAproxy代理服务器实现Web负载均衡集群,也可以使用LVS调度器实现Web负载均衡集群。部署完Web集群后还需要考虑如何进行Session会话保持,方法很多,如:根据源IP保持,代理服务器重写Cookie信息,共享文件系统保存session,使用数据库共享session等等。
该架构拓扑如图所示。
但是如果只有一台调度器依然会导致单点故障的问题,因此还需要使用Keepalived或Heartbeat之类的软件进行高可用配置,如图所示。
对于网站内容而言可以分离为动态页面和静态页面,静态页面就需要数据文件,动态页面则需要CPU解析代码,需要消耗大量的CPU资源,因此可以将静态和动态分离为两组服务器,动态页面有脚本代码组成,是一种基于网页的应用程序,因此这一组服务器也称为应用服务器,其架构如图所示。
动静分离、数据库集群
随着服务器的增加,虽然性能与并发量得到了明显的提升,但是数据的一致性、管理的便利性成为了新的问题,因此就需要增加统一的存储服务器,实现数据的同步一致,可以使用NFS,GlusterFS、Ceph等软件实现该功能,其架构如图所示。
此时所有应用服务器都连接一台数据库服务器进行读写操作,而且后期随着数据库中的数据不断增加,会导致数据库成为整个网站的瓶颈!这就需要我们对数据进行分库分表,创建数据库主从或者数据库集群,实现读写分离,其拓扑如图所示。
缓存服务器与业务模型
对于静态数据我们可以通过varnish、squid或者nginx进行缓存,将数据缓存到距离用户更近的位置,构建CDN(内容分发网络)架构。
对于传统的SQL数据库而言,我们也可以通过增加NoSQL数据库,实现数据缓存的功能,提升数据库的访问速度。
备注:数据库相关知识在第三阶段课程有详细介绍,第二阶段项目暂时不做数据库优化。
最后,基于前面的架构,我们还可以将网站按照公司的业务进行分离,每个业务都可以是一个独立的集群,如图所示。
案例1:部署LNMP动态网站
部署LNMP动态网站,实现以下目标:
安装LNMP平台相关软件
配置Nginx实现动静分离
配置数据库,创建账户与密码
上线Wordpress代码
使用Wordpress后台管理界面,调整Wordpress版式
实验拓扑如图所示,做具体实验前请先配置好环境。
步骤一:安装部署LNMP软件
备注:mariadb(数据库客户端软件)、mariadb-server(数据库服务器软件)、mariadb-devel(其他客户端软件的依赖包)、php(解释器)、php-fpm(进程管理器服务)、php-mysql(PHP的数据库扩展包)。
- 安装软件包
[root@centos7 ~]# yum -y install gcc openssl-devel pcre-devel
[root@centos7 ~]# useradd -s /sbin/nologin nginx
[root@centos7 ~]# tar -xvf nginx-1.12.2.tar.gz
[root@centos7 ~]# cd nginx-1.12.2
[root@centos7 nginx-1.12.2]# ./configure --user=nginx --group=nginx --with-http_ssl_module --with-http_stub_status_module
[root@centos7 nginx-1.12.2]# make && make install
[root@centos7 ~]# yum -y install mariadb mariadb-server mariadb-devel
[root@centos7 ~]# yum -y install php php-mysql php-fpm
- 启动服务(nginx、mariadb、php-fpm)
[root@centos7 ~]# /usr/local/nginx/sbin/nginx #启动Nginx服务
[root@centos7 ~]# echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local
[root@centos7 ~]# chmod +x /etc/rc.local
[root@centos7 ~]# ss -utnlp | grep :80 #查看端口信息
[root@centos7 ~]# systemctl start mariadb #启动mariadb服务器
[root@centos7 ~]# systemctl enable mariadb
[root@centos7 ~]# systemctl start php-fpm #启动php-fpm服务
[root@centos7 ~]# systemctl enable php-fpm
附加知识:systemd!!!
源码安装的软件默认无法使用systemd管理,如果需要使用systemd管理源码安装的软件需要手动编写服务的service文件(编写是可以参考其他服务的模板文件)。以下是nginx服务最终编辑好的模板。
Service文件存储路径为/usr/lib/system/system/目录。
[root@centos7 ~]# vim /usr/lib/systemd/system/nginx.service
[Unit]
Description=The Nginx HTTP Server
#描述信息
After=network.target remote-fs.target nss-lookup.target
#指定启动nginx之前需要其他的其他服务,如network.target等
[Service]
Type=forking
#Type为服务的类型,仅启动一个主进程的服务为simple,需要启动若干子进程的服务为forking
ExecStart=/usr/local/nginx/sbin/nginx
#设置执行systemctl start nginx后需要启动的具体命令.
ExecReload=/usr/local/nginx/sbin/nginx -s reload
#设置执行systemctl reload nginx后需要执行的具体命令.
ExecStop=/bin/kill -s QUIT ${MAINPID}
#设置执行systemctl stop nginx后需要执行的具体命令.
[Install]
WantedBy=multi-user.target
- 修改Nginx配置文件,实现动静分离
修改配置文件,通过两个location实现动静分离,一个location匹配动态页面,一个loation匹配其他所有页面。
注意修改默认首页为index.php!
[root@centos7 ~]# vim /usr/local/nginx/conf/nginx.conf
...省略部分配置文件内容...
location / {root html;index index.php index.html index.htm;}
...省略部分配置文件内容...
location ~ \.php$ {root html;fastcgi_pass 127.0.0.1:9000;fastcgi_index index.php;include fastcgi.conf;}
...省略部分配置文件内容...
[root@centos7 ~]# /usr/local/nginx/sbin/nginx -s reload #重新加载配置
- 配置数据库账户与权限
为网站提前创建一个数据库、添加账户并设置该账户有数据库访问权限。
[root@centos7 ~]# mysql
MariaDB [(none)]> create database wordpress character set utf8mb4;
MariaDB [(none)]> grant all on wordpress.* to wordpress@'localhost' identified by 'wordpress';
MariaDB [(none)]> grant all on wordpress.* to wordpress@'192.168.2.11' identified by 'wordpress';
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> exit
提示:在mysql和mariadb中%代表匹配所有,这里是授权wordpress用户可以从任意主机连接数据库服务器,生产环境建议仅允许特定的若干主机访问数据库服务器。
步骤二:上线wordpress代码
- 上线PHP动态网站代码
[root@centos7 ~]# yum -y install unzip
[root@centos7 ~]# unzip wordpress.zip
[root@centos7 ~]# cd wordpress
[root@centos7 wordpress]# tar -xf wordpress-5.0.3-zh_CN.tar.gz
[root@centos7 wordpress]# cp -r wordpress/* /usr/local/nginx/html/
[root@centos7 wordpress]# chown -R apache.apache /usr/local/nginx/html/
提示:动态网站运行过程中,php脚本需要对网站目录有读写权限,而php-fpm默认启动用户为apache。
- 初始化网站配置(使用客户端访问web服务器IP)
[root@client ~]# firefox http://192.168.2.11/
第一次访问服务器会自动进入config配置页面,效果如图-31所示。
开发人员在写代码的时候并不知道未来数据库服务器的IP、端口、数据库名称、账户等信息,该配置页面主要的作用就是动态配置数据库信息,根据前面步骤配置的数据库信息填空即可,效果如图-32所示。
点击提交即可完成数据库的初始化工作,php动态脚本会自动在wordpress数据库中创建若干数据表,后期网站的数据都会写入对并的数据表中。效果如图-33所示。
第一次使用Wordpress需要给你的网站设置基本信息,如网站标题、网站管理员账户与密码等信息,配置完成后点击安装wordpress即可,如图-34所示。
步骤三:网站后台管理
- 访问192.168.2.11服务器,进入并熟悉后台管理界面
通常情况下,开发人员会开发一个后台管理界面,当代码上线后,普通用户就可以管理和配置网站页面(需要使用网站的超级管理员身份才可以进入后台界面)。
[root@client ~]# firefox http://192.168.2.11
访问首页后点击如图-35所示的登陆菜单,输入账户和密码进入后台管理界面。
或者直接在地址栏中输入后台管理界面的具体URL。
[root@client ~]# firefox http://192.168.2.11/wp-login.php
输入管理员用户名和密码,效果如图-36所示。登陆后台管理界面效果如图-37所示。
2. 修改网站主题
Wordpress主题会影响网站的整体外观,我们可以使用默认自带的若干主题。
后台修改网站主题的菜单为<外观>–<主题>,使用默认主题,点击启用即可,如图所示。
如果需要更多更新的主题,则可以去官网下载更多新的主题,默认下载的主题格式为zip压缩包。
官方网站主题链接:(https://cn.wordpress.org/themes/browse/popular/)。
将主题下载到服务器本地后,可以在后台管理界面添加主题,<外观>–<主题>–<添加>–<上传主题>–<浏览>–<现在安装>,如图所示。
部署新主题的另一种方法是,直接将下载的zip主题包拷贝到wordpress代码的特定目录,如/usr/local/nginx/html/wp-content/themes/目录,然后使用unzip解压主题即可,效果如图-40所示。
- 修改网站小工具
小工具是首页中的各种常用功能菜单,可以添加和删除。
首先可以删除一些不需要的小工具,如最近文章、最近评论等,如图-41所示。
Right、Legt、Header代表的是小工具的位置,使用鼠标拖动小工具可以移动位置,如图-42所示。
可以通过小工具为网站添加导航功能,使用鼠标将导航菜单拖动到合适的位置即可,默认没有导航菜单,需要自定义创建,如图-43所示。
创建导航菜单后,可以继续创建页面,并将页面添加到导航菜单中。<页面>–<新建页面>即可添加新的页面,如图-44和图-45所示。新的页面内容可以是段落、图像、列表、引语等(每个人根据自己的需要自由发挥)。
图-44
图-45
新的页面添加完成后,可以将其添加到菜单中使用,如图-46所示。访问网站首页即可查看导航菜单的效果,如图-47所示。
图-46
案例2:LNP+Mariadb数据库分离
2.1 问题
部署LNP+Mariadb实现数据库与Web服务器分离,实现以下目标:
将旧的数据库备份,迁移到新的服务器
修改配置调用新的数据库服务器
2.2 方案
实验拓扑如图所示,做具体实验前请先配置好环境。
主机配置如表所示。
步骤一:部署数据库服务器
- 准备一台独立的服务器,安装数据库软件包
[root@database ~]# yum -y install mariadb mariadb-server mariadb-devel
[root@database ~]# systemctl start mariadb
[root@database ~]# systemctl enable mariadb
- 将之前单机版LNMP网站中的数据库迁移到新的数据库服务器。
登陆192.168.2.11主机,备份数据库并拷贝给新的服务器,关闭旧的数据库服务。
[root@centos7 ~]# mysqldump wordpress > wordpress.bak
[root@centos7 ~]# scp wordpress.bak 192.168.2.21:/root/
[root@centos7 ~]# systemctl stop mariadb
[root@centos7 ~]# systemctl disable mariadb
登陆192.168.2.21主机,使用备份文件还原数据库。
创建空数据库:
[root@database ~]# mysql
MariaDB [(none)]> create database wordpress character set utf8mb4;
MariaDB [(none)]> exit
使用备份文件还原数据:
[root@database ~]# mysql wordpress < wordpress.bak
重新创建账户并授权访问:
[root@database ~]# mysql
MariaDB [(none)]> grant all on wordpress.* to wordpress@'%' identified by 'wordpress';
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> exit
- 修改wordpress网站配置文件,调用新的数据库服务器。
Wordpress在第一次初始化操作时会自动生产配置文件:wp-config.php,登陆192.168.2.11修改该文件即可调用新的数据库服务。
[root@centos7 ~]# vim /usr/local/nginx/html/wp-config.php
修改前内容如下:
define('DB_HOST', '192.168.2.11');
修改后内容如下:
define('DB_HOST', '192.168.2.21');
步骤二:客户端测试
- 客户端使用浏览器访问wordpress网站。
[root@client ~]# firefox http://192.168.2.11
案例3:Web服务器集群
3.1 问题
使用HAProxy部署Web服务器集群,实现以下目标:
部署三台Web服务器
迁移网站数据,使用NFS实现数据共享
部署HAProxy代理服务器实现负载均衡
部署DNS域名解析服务器
3.2 方案
实验拓扑如图所示,做具体实验前请先配置好环境。
备注:实际操作中DNS服务代理服务器部署在同一台主机上(节约虚拟机资源)。
主机配置如表所示。
步骤一:部署web2和web3服务器
- 安装LNP软件包
[root@web2 ~]# yum -y install gcc pcre-devel openssl-devel
[root@web2 lnmp_soft]# tar -xf nginx-1.12.2.tar.gz
[root@web2 lnmp_soft]# cd nginx-1.12.2/
[root@web2 nginx-1.12.2]# ./configure \
--with-http_ssl_module \
--with-http_stub_status_module
[root@web2 nginx-1.12.2]# make && make instal
[root@web2 ~]# yum -y install php php-fpm php-mysql mariadb-devel
[root@web3 ~]# yum -y install gcc pcre-devel openssl-devel
[root@web3 lnmp_soft]# tar -xf nginx-1.12.2.tar.gz
[root@web3 lnmp_soft]# cd nginx-1.12.2/
[root@web3 nginx-1.12.2]# ./configure \
--with-http_ssl_module \
--with-http_stub_status_module
[root@web3 nginx-1.12.2]# make && make instal
[root@web3 ~]# yum -y install php php-fpm php-mysql mariadb-devel
- 修改nginx配置实现动静分离(web2和web3操作)
web2修改默认首页index.php,配置两个location实现动静分离。
[root@web2 ~]# vim /usr/local/nginx/conf/nginx.conf
location / {root html;index index.php index.html index.htm;}
location ~ \.php$ {root html;fastcgi_pass 127.0.0.1:9000;fastcgi_index index.php;include fastcgi.conf;}
web3修改默认首页index.php,配置两个location实现动静分离。
[root@web3 ~]# vim /usr/local/nginx/conf/nginx.conf
location / {root html;index index.php index.html index.htm;}
location ~ \.php$ {root html;fastcgi_pass 127.0.0.1:9000;fastcgi_index index.php;include fastcgi.conf;}
- 启动相关服务
[root@web2 ~]# echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local
[root@web2 ~]# chmod +x /etc/rc.local
[root@web2 ~]# /usr/local/nginx/sbin/nginx
[root@web2 ~]# systemctl start php-fpm #启动php-fpm服务
[root@web2 ~]# systemctl enable php-fpm
[root@web3 ~]# echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local
[root@web3 ~]# chmod +x /etc/rc.local
[root@web3 ~]# /usr/local/nginx/sbin/nginx
[root@web3 ~]# systemctl start php-fpm #启动php-fpm服务
[root@web3 ~]# systemctl enable php-fpm
附加知识:systemd!!!
源码安装的软件默认无法使用systemd管理,如果需要使用systemd管理源码安装的软件需要手动编写服务的service文件(编写是可以参考其他服务的模板文件)。以下是nginx服务最终编辑好的模板。
Service文件存储路径为/usr/lib/system/system/目录。
[root@centos7 ~]# vim /usr/lib/systemd/system/nginx.service
[Unit]
Description=The Nginx HTTP Server
#描述信息
After=network.target remote-fs.target nss-lookup.target
#指定启动nginx之前需要其他的其他服务,如network.target等
[Service]
Type=forking
#Type为服务的类型,仅启动一个主进程的服务为simple,需要启动若干子进程的服务为forking
ExecStart=/usr/local/nginx/sbin/nginx
#设置执行systemctl start nginx后需要启动的具体命令.
ExecReload=/usr/local/nginx/sbin/nginx -s reload
#设置执行systemctl reload nginx后需要执行的具体命令.
ExecStop=/bin/kill -s QUIT ${MAINPID}
#设置执行systemctl stop nginx后需要执行的具体命令.
[Install]
WantedBy=multi-user.target
步骤二:部署NFS,将网站数据迁移至NFS共享服务器
- 部署NFS共享服务器
[root@nfs ~]# yum install nfs-utils
[root@nfs ~]# mkdir /web_share
[root@nfs ~]# vim /etc/exports
/web_share 192.168.2.0/24(rw,no_root_squash)
[root@nfs ~]# systemctl restart rpcbind
[root@nfs ~]# systemctl eanble rpcbind
NFS使用的是随机端口,每次启动NFS都需要将自己的随机端口注册到rpcbind服务,这样客户端访问NFS时先到rpcbind查询端口信息,得到端口信息后再访问NFS服务。
[root@nfs ~]# systemctl restart nfs
[root@nfs ~]# systemctl enable nfs
- 迁移旧的网站数据到NFS共享服务器
将web1(192.168.2.11)上的wordpress代码拷贝到NFS共享。
[root@web1 ~]# cd /usr/local/nginx/
[root@web1 nginx]# tar -czpf html.tar.gz html/
[root@web1 nginx]# scp html.tar.gz 192.168.2.31:/web_share/
登陆nfs服务器,将压缩包解压
[root@nfs ~]# cd /web_share/
[root@nfs web_share]# tar -xf html.tar.gz
- 所有web服务器访问挂载NFS共享数据。
[root@web1 ~]# rm -rf /usr/local/nginx/html/*
[root@web1 ~]# yum -y install nfs-utils
[root@web1 ~]# echo "192.168.2.31:/web_share/html /usr/local/nginx/html/ nfs defaults 0 0" >> /etc/fstab
[root@web1 ~]# mount -a
[root@web2 ~]# yum -y install nfs-utils
[root@web2 ~]# echo "192.168.2.31:/web_share/html /usr/local/nginx/html/ nfs defaults 0 0" >> /etc/fstab
[root@web2 ~]# mount -a
[root@web3 ~]# yum -y install nfs-utils
[root@web3 ~]# echo "192.168.2.31:/web_share/html /usr/local/nginx/html/ nfs defaults 0 0" >> /etc/fstab
[root@web3 ~]# mount -a
步骤三:部署HAProxy代理服务器
- 部署HAProxy
安装软件,手动修改配置文件,添加如下内容。
[root@proxy ~]# yum -y install haproxy
[root@proxy ~]# vim /etc/haproxy/haproxy.cfg
listen wordpress *:80balance roundrobinserver web1 192.168.2.11:80 check inter 2000 rise 2 fall 3server web2 192.168.2.12:80 check inter 2000 rise 2 fall 3server web3 192.168.2.13:80 check inter 2000 rise 2 fall 3
[root@proxy ~]# systemctl start haproxy
[root@proxy ~]# systemctl enable haproxy
步骤三:部署DNS域名服务器
- 安装DNS相关软件(192.168.4.5操作)。
[root@proxy ~]# yum -y install bind bind-chroot
- 修改主配置文件,添加zone。
[root@proxy ~]# vim /etc/named.conf
options {listen-on port 53 { any; }; #服务监听的地址与端口directory "/var/named"; #数据文件路径allow-query { any; }; #允许任何主机访问DNS服务
... ...
};
zone "lab.com" IN { #定义正向区域type master;file "lab.com.zone";
};
#include "/etc/named.rfc1912.zones"; #注释掉改行
#include "/etc/named.root.key"; #注释掉改行
[root@proxy ~]# named-checkconf /etc/named.conf #检查语法
- 修改正向解析记录文件。
注意:保留文件权限。
[root@proxy named]# cp -p /var/named/named.localhost /var/named/lab.com.zone
[root@proxy named]# vim /var/named/lab.zone
$TTL 1D
@ IN SOA @ rname.invalid. (0 ; serial1D ; refresh1H ; retry1W ; expire3H ) ; minimum
@ NS dns.lab.com.
dns A 192.168.4.5
www A 192.168.4.5
- 启动服务
[root@proxy named]# systemctl start named
[root@proxy named]# systemctl enable named
- 客户端修改DNS解析文件
提示:做完实验修改回原始内容。
[root@room9pc01 data]# cat /etc/resolv.conf
# Generated by NetworkManager
search tedu.cn
nameserver 192.168.4.5
nameserver 172.40.1.10
nameserver 192.168.0.220
步骤四:修改wordpress配置文件
- 修改wp-config.php
在define(‘DB_NAME’, ‘wordpress’)这行前面添加如下两行内容:
[root@web3 html]# vim /usr/local/nginx/html/wp-config.php
define('WP_SITEURL', 'http://www.lab.com');
define('WP_HOME', 'http://www.lab.com');
如果不添加这两行配置,浏览器访问网站某个子页面后,URL会固定到某一台后端服务器不轮询。
案例4:Keepalived高可用
部署两台代理服务器,实现如下效果:
利用keepalived实现两台代理服务器的高可用
配置VIP为192.168.4.80
修改对应的域名解析记录
1.2 方案
实验拓扑如图-1所示,做具体实验前请先配置好环境。
备注:实际操作中DNS服务代理服务器部署在同一台主机上(节约虚拟机资源)。
主机配置如表-1所示。
步骤一:配置第二台代理服务器
- 部署HAProxy
安装软件,手动修改配置文件,添加如下内容。
[root@proxy2 ~]# yum -y install haproxy
[root@proxy2 ~]# vim /etc/haproxy/haproxy.cfg
listen wordpress *:80balance roundrobinserver web1 192.168.2.11:80 check inter 2000 rise 2 fall 3server web2 192.168.2.12:80 check inter 2000 rise 2 fall 3server web3 192.168.2.13:80 check inter 2000 rise 2 fall 3
[root@proxy2 ~]# systemctl start haproxy
[root@proxy2 ~]# systemctl enable haproxy
步骤二:为两台代理服务器配置keepalived
- 配置第一台代理服务器proxy(192.168.4.5)。
[root@proxy ~]# yum install -y keepalived
[root@proxy ~]# vim /etc/keepalived/keepalived.conf
global_defs {router_id proxy1 //设置路由ID号vrrp_iptables //不添加任何防火墙规则
}
vrrp_instance VI_1 {state MASTER //主服务器为MASTER(备服务器需要修改为BACKUP)interface eth0 //定义网络接口virtual_router_id 51 priority 100 //服务器优先级,优先级高优先获取VIP(实验需要修改)advert_int 1authentication {auth_type passauth_pass 1111 //主备服务器密码必须一致}virtual_ipaddress { //谁是主服务器谁获得该VIP(实验需要修改)
192.168.4.80
}
}
[root@proxy ~]# systemctl start keepalived
!!!重要!!!
在全局配置global_defs{}中手动添加vrrp_iptables,即可解决防火墙的问题。
- 配置第二台代理服务器proxy(192.168.4.6)。
[root@proxy2 ~]# yum install -y keepalived
[root@proxy2 ~]# vim /etc/keepalived/keepalived.conf
global_defs {router_id proxy2 //设置路由ID号
vrrp_iptables //不添加任何防火墙规则
}
vrrp_instance VI_1 {state BACKUP //主服务器为MASTER(备服务器需要修改为BACKUP)interface eth0 //定义网络接口virtual_router_id 51 priority 50 //服务器优先级,优先级高优先获取VIPadvert_int 1authentication {auth_type passauth_pass 1111 //主备服务器密码必须一致}virtual_ipaddress { //谁是主服务器谁获得该VIP
192.168.4.80
}
}
[root@proxy2 ~]# systemctl start keepalived
!!!重要!!!
在全局配置global_defs{}中手动添加vrrp_iptables,即可解决防火墙的问题。
步骤三:修改DNS服务器
- 修改网站域名对应的解析记录,解析到新的VIP地址。
192.168.4.5为DNS服务器。
[root@proxy ~]# vim /var/named/lab.com.zone
$TTL 1D
@ IN SOA @ rname.invalid. (0 ; serial1D ; refresh1H ; retry1W ; expire3H ) ; minimum
@ NS dns.lab.com.
dns A 192.168.4.5
www A 192.168.4.80
- 重启DNS服务
[root@proxy ~]# systemctl restart named
案例5:部署Ceph分布式存储
部署Ceph分布式存储,实现如下效果:
使用三台服务器部署Ceph分布式存储
实现Ceph文件系统共享
将网站数据从NFS迁移到Ceph存储
方案
实验拓扑如图所示,做具体实验前请先配置好环境。
备注:实际操作中DNS服务代理服务器部署在同一台主机上(节约虚拟机资源)。
主机配置如表-2所示。
步骤一:准备实验环境
- 物理机为所有节点配置yum源服务器。
提示:ceph10.iso在/linux-soft/02目录。
[root@room9pc01 ~]# mkdir /var/ftp/ceph
[root@room9pc01 ~]# mount ceph10.iso /var/ftp/ceph/
- 在node1配置SSH密钥,让node1可用无密码连接node1,node2,node3
[root@node1 ~]# ssh-keygen -f /root/.ssh/id_rsa -N ''
[root@node1 ~]# for i in 41 42 43
do
ssh-copy-id 192.168.2.$i
done
- 修改/etc/hosts域名解析记录(不要删除原有的数据),同步给所有ceph节点。
[root@node1 ~]# vim /etc/hosts
192.168.2.41 node1
192.168.2.42 node2
192.168.2.43 node3
[root@node1 ~]# for i in 41 42 43
doscp /etc/hosts 192.168.2.$i:/etc
done
- 为所有ceph节点配置yum源,并将配置同步给所有节点
[root@node1 ~]# cat /etc/yum.repos.d/ceph.repo
[mon]
name=mon
baseurl=ftp://192.168.2.254/ceph/MON
gpgcheck=0
[osd]
name=osd
baseurl=ftp://192.168.2.254/ceph/OSD
gpgcheck=0
[tools]
name=tools
baseurl=ftp://192.168.2.254/ceph/Tools
gpgcheck=0
[root@node1 ~]# yum repolist #验证YUM源软件数量
源标识 源名称 状态
Dvd redhat 9,911
Mon mon 41
Osd osd 28
Tools tools 33
repolist: 10,013
[root@node1 ~]# for i in 41 42 43
doscp /etc/yum.repos.d/ceph.repo 192.168.2.$i:/etc/yum.repos.d/
done
- 所有节点主机与真实主机的NTP服务器同步时间。
提示:默认真实物理机已经配置为NTP服务器。
[root@node1 ~]# vim /etc/chrony.conf
… …
server 192.168.2.254 iburst
[root@node1 ~]# for i in 41 42 43
doscp /etc/chrony.conf 192.168.2.$i:/etc/ssh 192.168.2.$i "systemctl restart chronyd"
done
每台虚拟机添加2块20G的磁盘。
步骤二:部署ceph集群
- 给node1主机安装ceph-deploy,创建工作目录,初始化配置文件。
[root@node1 ~]# yum -y install ceph-deploy
[root@node1 ~]# mkdir ceph-cluster
[root@node1 ~]# cd ceph-cluster
- 给所有ceph节点安装ceph相关软件包
[root@node1 ceph-cluster]# for i in node1 node2 node3
dossh $i "yum -y install ceph-mon ceph-osd ceph-mds"
done
- 初始化mon服务
[root@node1 ceph-cluster]# ceph-deploy new node1 node2 node3
[root@node1 ceph-cluster]# ceph-deploy mon create-initial
[root@node1 ceph-cluster]# ceph -s #查看结果cluster 9f3e04b8-7dbb-43da-abe6-b9e3f5e46d2ehealth HEALTH_ERRmonmap e2: 3 mons at{node1=192.168.2.41:6789/0,node2=192.168.2.42:6789/0,node3=192.168.2.43:6789/0}osdmap e45: 0 osds: 0 up, 0 in
- 准备磁盘分区,创建journal盘,并永久修改设备权限。
[root@node1 ceph-cluster]# for i in node1 node2 node3
dossh $i "parted /dev/vdb mklabel gpt"ssh $i "parted /dev/vdb mkpart primary 1 100%"done
提示:下面的步骤在所有主机都需要操作(node1,node2,node3)
#临时修改权限:
[root@node1 ceph-cluster]# chown ceph.ceph /dev/vdb1
#永久修改权限:
[root@node1 ceph-cluster]# vim /etc/udev/rules.d/70-vdb.rules
ENV{DEVNAME}=="/dev/vdb1",OWNER="ceph",GROUP="ceph"
- 使用ceph-deploy工具初始化数据磁盘(仅node1操作)。
[root@node1 ceph-cluster]# ceph-deploy disk zap node1:vdc
[root@node1 ceph-cluster]# ceph-deploy disk zap node2:vdc
[root@node1 ceph-cluster]# ceph-deploy disk zap node3:vdc
- 初始化OSD集群。
[root@node1 ceph-cluster]# ceph-deploy osd create \node1:vdc:/dev/vdb1
//创建osd存储设备,vdc为集群提供存储空间,vdb1提供JOURNAL缓存,
//一个存储设备对应一个缓存设备,缓存需要SSD,不需要很大
[root@node1 ceph-cluster]# ceph-deploy osd create \node2:vdc:/dev/vdb1
[root@node1 ceph-cluster]# ceph-deploy osd create \node3:vdc:/dev/vdb1
[root@node1 ceph-cluster]# ceph -s #查看集群状态
cluster 9f3e04b8-7dbb-43da-abe6-b9e3f5e46d2e
health HEALTH_OKmonmap e2: 3 mons at {node1=192.168.2.41:6789/0,node2=192.168.2.42:6789/0,node3=192.168.2.43:6789/0}election epoch 6, quorum 0,1,2 node1,node2,node3osdmap e45: 3 osds: 3 up, 3 inflags sortbitwisepgmap v25712: 64 pgs, 1 pools, 86465 kB data, 2612 objects508 MB used, 60 GB / 60 GB avail64 active+clean
步骤三:部署ceph文件系统
- 启动mds服务
[root@node1 ceph-cluster]# ceph-deploy mds create node3
- 创建存储池(文件系统由inode和block组成)
[root@node1 ceph-cluster]# ceph osd pool create cephfs_data 128
[root@node1 ceph-cluster]# ceph osd pool create cephfs_metadata 128
[root@node1 ceph-cluster]# ceph osd lspools
0 rbd,1 cephfs_data,2 cephfs_metadata
- 创建文件系统
[root@node1 ceph-cluster]# ceph fs new myfs1 cephfs_metadata cephfs_data
[root@node1 ceph-cluster]# ceph fs ls
name: myfs1, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
步骤四:迁移网站数据到ceph集群
- 卸载web1,web2,web3的NFS共享。
暂停服务防止有人实时读写文件。
[root@web1 ~]# /usr/local/nginx/sbin/nginx -s stop
[root@web2 ~]# /usr/local/nginx/sbin/nginx -s stop
[root@web3 ~]# /usr/local/nginx/sbin/nginx -s stop
[root@web1 ~]# umount /usr/local/nginx/html
[root@web2 ~]# umount /usr/local/nginx/html
[root@web3 ~]# umount /usr/local/nginx/html
[root@web1 ~]# vim /etc/fstab
#192.168.2.31:/web_share/html /usr/local/nginx/html/ nfs defaults 0 0
[root@web2 ~]# vim /etc/fstab
#192.168.2.31:/web_share/html /usr/local/nginx/html/ nfs defaults 0 0
[root@web3 ~]# vim /etc/fstab
#192.168.2.31:/web_share/html /usr/local/nginx/html/ nfs defaults 0 0
- web服务器永久挂载Ceph文件系统(web1、web2、web3都需要操作)。
在任意ceph节点,如node1查看ceph账户与密码。
[root@node1 ~]# cat /etc/ceph/ceph.client.admin.keyring [client.admin]key = AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==/etc/rc.local是开机启动脚本,任何命令放在该文件中都是开机自启。[root@web1 ~]# mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \-o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==[root@web1 ~]# echo 'mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \-o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==' >> /etc/rc.local[root@web1 ~]# chmod +x /etc/rc.local[root@web2 ~]# mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \-o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==[root@web2 ~]# echo 'mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \-o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==' >> /etc/rc.local [root@web2 ~]# chmod +x /etc/rc.local[root@web3 ~]# mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \-o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==[root@web3 ~]# echo 'mount -t ceph 192.168.2.41:6789:/ /usr/local/nginx/html/ \-o name=admin,secret=AQA0KtlcRGz5JxAA/K0AD/uNuLI1RqPsNGC7zg==' >> /etc/rc.local [root@web3 ~]# chmod +x /etc/rc.local
另一种解决方案,还可以通过fstab实现永久挂载。
提示:如果希望使用fstab实现永久挂载,客户端需要额外安装libcephfs1软件包。
[root@web1 ~]# yum -y install libcephfs1
[root@web1 ~]# vim /etc/fstab
… …
192.168.2.41:6789:/ /usr/local/nginx/html/ ceph defaults,_netdev,name=admin,secret=AQCVcu9cWXkgKhAAWSa7qCFnFVbNCTB2DwGIOA== 0 0
第三种挂载方案:对于高可用的问题,可以在mount时同时写入多个IP。
临时命令:
[root@web1 ~]# mount -t ceph \
192.168.2.41:6789,192.168.2.42:6789,192.168.2.43:6789:/ /usr/local/nginx/html \
-o name=admin,secret=密钥
永久修改:
[root@web1 ~]# vim /etc/fstab
192.168.2.41:6789,192.168.2.42:6789,192.168.2.43:6789:/ /usr/local/nginx/html/ \
ceph defaults,_netdev,name=admin,secret=密钥 0 0
- 迁移NFS服务器中的数据到Ceph存储
登陆NFS服务器备份数据,将备份数据拷贝给web1或web2或web3,tar备份数据时注意使用-f选项保留文件权限。
[root@nfs ~]# cd /web_share/html/
[root@nfs html]# tar -czpf /root/html.tar.gz ./*
[root@nfs html]# scp /root/html.tar.gz 192.168.2.11:/usr/local/nginx/html/
登陆web1将数据恢复到Ceph共享目录
[root@web1 html]# tar -xf html.tar.gz
[root@web1 html]# rm -rf html.tar.gz
- 恢复web服务
[root@web1 ~]# /usr/local/nginx/sbin/nginx
[root@web2 ~]# /usr/local/nginx/sbin/nginx
[root@web3 ~]# /usr/local/nginx/sbin/nginx
案例6:部署Git版本控制系统
部署Git版本控制系统,管理网站代码,实现如下效果:
基于SSH协议的服务器
基于Git协议的服务器
基于HTTP协议的服务器
上传代码到版本仓库
生产环境应该有一台独立的Git服务器,这里为了节约主机资源,我们使用数据库主机同时做完Git服务器,如图所示。
主机配置如表所示。
步骤一:部署SSH协议的版本控制服务器
- 安装软件包,创建空仓库。
[root@database ~]# yum -y install git
[root@database ~]# mkdir /var/git/
[root@database ~]# git init --bare /var/git/wordpress.git #创建空仓库
- 登陆web1服务器克隆git仓库,上传网站代码到git服务器。
[root@web1 var]# git config --global push.default simple
[root@web1 var]# git config --global user.email you@example.com
[root@web1 var]# git config --global user.name "Your Name"
[root@web1 var]# cd /var/
[root@web1 var]# git clone root@192.168.2.21:/var/git/wordpress.git
[root@web1 var]# cd /var/wordpress
[root@web1 wordpress]# cp -a /usr/local/nginx/html/* ./
[root@web1 wordpress]# git add .
[root@web1 wordpress]# git commit -m "wordpress code"
[root@web1 wordpress]# git push
root@192.168.2.21's password:<输入192.168.2.21主机root的密码>
步骤二:部署Git协议的版本控制服务器
- 安装软件包(192.168.2.21操作)
[root@database ~]# yum -y install git-daemon
- 修改配置文件,启动Git服务
[root@database ~]# vim /usr/lib/systemd/system/git@.service
修改前内容如下:
ExecStart=-/usr/libexec/git-core/git-daemon --base-path=/var/lib/git --export-all --user-path=public_git --syslog --inetd –verbose
修改后内容如下:
ExecStart=-/usr/libexec/git-core/git-daemon --base-path=/var/git --export-all --user-path=public_git --syslog --inetd –verbose
[root@database ~]# systemctl start git.socket
[root@database ~]# systemctl status git.socket
- 客户端测试(使用web2做完客户端主机,192.168.2.12)
在web2执行clone等同于是把代码又备份了一份。
[root@web2 ~]# cd /var/
[root@web2 var]# git clone git://192.168.2.21/wordpress.git
步骤三:部署HTTP协议的版本控制服务器
- 安装软件包(192.168.2.21操作)
[root@database ~]# yum -y install httpd gitweb
- 修改配置文件
[root@database ~]# vim /etc/gitweb.conf
$projectroot = "/var/git"; #添加一行
- 启动服务
[root@database ~]# systemctl start httpd
- 客户端验证
[root@room9pc01 ~]# firefox http://192.168.2.21/git
访问网页可以查看到wordpress仓库,点击tree菜单后可以看到如图所示的代码。
案例7:优化Web服务器
优化Web服务器,实现如下效果:
自定义网站404错误页面
升级nginx至1.15.8版本,开启status模块
编写日志切割脚本,实现每周五备份日志
开启gzip压缩功能,提高数据传输效率
开启文件缓存功能
步骤一:自定义404错误页面
- 优化前测试(客户端访问一个不存在的页面)。
[root@room9pc01 ~]# firefox http://www.lab.com/git
- ** 修改Nginx配置文件,自定义错误页面**
[root@web1 ~]# vim /usr/local/nginx/conf/nginx.conf
error_page 404 /404.html; //自定义错误页面
[root@web2 ~]# vim /usr/local/nginx/conf/nginx.conf
error_page 404 /404.html; //自定义错误页面
[root@web3 ~]# vim /usr/local/nginx/conf/nginx.conf
error_page 404 /404.html; //自定义错误页面
- ** 重启nginx**
[root@web1 ~]# /usr/local/nginx/sbin/nginx -s reload
[root@web2 ~]# /usr/local/nginx/sbin/nginx -s reload
[root@web3 ~]# /usr/local/nginx/sbin/nginx -s reload
步骤二:升级nginx版本,开启status模块
- 配置、编译新的nginx(web1、web2、web3做相同操作,下面以web1为例)
[root@web1 ~]# tar -xf nginx-1.15.8.tar.gz
[root@web1 ~]# cd nginx-1.15.8
[root@web1 nginx-1.15.8]# ./configure \
--with-http_ssl_module \
--with-http_stub_status_module
[root@web1 nginx-1.15.8]# make
- 备份老版本nginx,更新新版本nginx
[root@web1 nginx-1.15.8]# mv /usr/local/nginx/sbin/nginx{,.old}
[root@web1 nginx-1.15.8]# cp objs/nginx /usr/local/nginx/sbin/
- 修改配置文件
[root@web1 ~]# vim /usr/local/nginx/conf/nginx.conf
... ...
location /status {stub_status on;allow 192.168.2.0/24;deny all;}
... ...
- 升级或重启服务
注意:必须在nginx-1.15.8源码包目录下执行make upgrade命令。
[root@web1 nginx-1.15.8]# make upgrade
或者手动执行killall命令杀死进程后重新启动
[root@web1 ~]# killall nginx
[root@web1 ~]# /usr/local/nginx/sbin/nginx
步骤三:编写日志切割脚本
- 编写脚本(以web1为例)
[root@web1 ~]# vim /usr/local/nginx/logbak.sh
#!/bin/bash
date=`date +%Y%m%d`
logpath=/usr/local/nginx/logs
mv $logpath/access.log $logpath/access-$date.log
mv $logpath/error.log $logpath/error-$date.log
kill -USR1 $(cat $logpath/nginx.pid)
- 创建计划任务
[root@web1 ~]# crontab -e
03 03 * * 5 /usr/local/nginx/logbak.sh
步骤四:对页面进行压缩处理
- 修改Nginx配置文件
[root@proxy ~]# cat /usr/local/nginx/conf/nginx.conf
http {.. ..
gzip on; //开启压缩
gzip_min_length 1000; //小文件不压缩
gzip_comp_level 4; //压缩比率
gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;//对特定文件压缩,类型参考mime.types
.. ..
}
步骤五:服务器内存缓存
- 如果需要处理大量静态文件,可以将文件缓存在内存,下次访问会更快。
http {
open_file_cache max=2000 inactive=20s;open_file_cache_valid 60s;open_file_cache_min_uses 5;open_file_cache_errors off;
//设置服务器最大缓存2000个文件句柄,关闭20秒内无请求的文件句柄
//文件句柄的有效时间是60秒,60秒后过期
//只有访问次数超过5次会被缓存
}
部署LNMP动态网站及网站架构变迁相关推荐
- 项目:部署LNMP动态网站
部署LNMP动态网站 问题 部署LNMP动态网站,实现以下目标: 安装LNMP平台相关软件 配置Nginx实现动静分离 配置数据库,创建账户与密码 上线Wordpress代码 使用Wordpress后 ...
- 服务器硬件、部署LNMP动态网站 案例
Top NSD Project1 DAY01 案例1:服务器硬件 案例2:部署LNMP动态网站 1 案例1:服务器硬件 1.1 问题 服务器硬件品牌有哪些,服务器硬件组成结构分析: 常见服务器品牌介绍 ...
- shell脚本 一键部署 Lnmp 及社区论坛 服务架构
shell脚本 一键部署 Lnmp 一键部署 Lnmp 一键部署 注:亲,记得把所需要的软件包,先放到/opt目录中:以及该机子的内存大小.核数先设置好! #!/bin/bash #先配置好yum e ...
- 企业常用服务器硬件介绍,以及部署RAIO,和部署LNMP
:服务器硬件 2:部署LNMP动态网站 常见服务器品牌介绍 IBM服务器.Dell服务器.HP服务器.浪潮服务器.华为服务器. //Dell服务器是目前IDC机房中普遍采用的服务器品牌. 与普通电脑一 ...
- Linux进阶-网站架构部署(LNMP)
网站架构部署LNMP 1)网站架构组成介绍 2)网站架构工作原理 3)服务部署过程 4)PHP部署过程 5)需要将LNMP架构进行串联 6)企业动态资源发布过程 1)网站架构组成介绍 LNMP: L: ...
- 途牛网站无线架构变迁实践
途牛从一开始的单机系统,发展到现在已拥有数百个分布式部署的系统.本文主要将途牛网站无线系统在从小到大的过程中,遇到的问题以及解决方法与大家分享,希望为大家带来一定借鉴.文章将从服务化推进.南北京机房之 ...
- 树莓派4b部署LNMP+Tor,搭建在Dark web上的网站
树莓派4b部署LNMP+Tor,搭建在Dark web上的网站 开始前的准备 系统 下载Raspberry Pi OS 烧录进TF卡 SSH 打开树莓派SSH功能 用Putty连接树莓派 修改SSH密 ...
- 豆瓣网CTO洪强宁讲述网站架构变迁
2019独角兽企业重金招聘Python工程师标准>>> 豆瓣网CTO洪强宁讲述网站架构变迁 罗马不是一天建成的,豆瓣的技术架构也是随着用户规模的增长一直在持续变化中.洪强宁,2002 ...
- LNMP介绍及一键部署LNMP架构
目录 一.LNMP 1.LNMP介绍 ①LNMP工作原理 ②LAMP工作原理 2.LAMP和LNMP的区别 3.编译安装的优点 4.各组件的主要作用 二.脚本一键部署LNMP架构 一.LNMP 1.L ...
最新文章
- Dreamweaver8注册码
- 关于ERP、MES、SFC问题
- 【uoj#37/bzoj3812】[清华集训2014]主旋律 状压dp+容斥原理
- 一维条形码识别c语言_条形码的优点
- Getting Started with Google Guava--思维导图笔记
- Python排序算法(二) 快速排序、希尔排序、归并排序
- mate10支持html,华为Mate 10再曝光:配置强劲,全面屏十分惊艳
- c java交互,Java与C交互
- 谷歌发布 Android 11 的第二个开发者预览版
- UltraCompare 22 for Mac(文件比较工具)
- Hibernate - Query简易
- 过滤内网IP—IPv4
- 系统分析师考试大纲2009
- 国内下载Android源码教程
- 如何检查你的MAC是不是原封正品
- android平台获取手机IMSI,IMEI ,序列号,和 手机号的方法
- app自动化测试之Appium问题分析及定位
- linux桌面系统 9,红旗Linux系统RedFlag Linux Desktop 9.0安装教程
- 服务端渲染(SSR) 通用技术解决方案
- 北斗导航 | 基于性能导航(PBN)涉及术语
热门文章
- android自定义实现分时图,Android专业版K线图、分时图 android-kline
- 如何在本地编译器进行油猴脚本的开发
- 单细胞测序流程(四)主成分分析——PCA
- 计算机基础知识课件最新,计算机基础知识ppt课件
- 松柏先生每日一例:古法“见南花”,赋予水泥新的生命
- java中的DBCP连接池
- 一台计算机数据丢失与恢复,如何在不丢失数据的情况下将iPhone与多台计算机同步-万兴数据恢复-万兴恢复专家...
- 回收站文件恢复教程:如何找回误删除的重要文件
- 魔百盒M401a刷机
- 【李叫兽】如何识别故作高深的空话