Web群集与日志管理Haproxy搭建
文章目录
- 常见的web群集调度器
- Haproxy应用分析
- Haproxy调度算法原理
- 高并发架构
- Nginx的安装与启动
- Haproxy安装与启动
- Haproxy配置文件详解
- Haproxy配置文件详解
- Haproxy配置应用模块参数
- 配置与测试
- Haproxy日志管理
- 实验步骤
- haproxy服务器配置
常见的web群集调度器
目前常见的Web集群调度器分为软件和硬件
软件通常使用开源的LVS、Haproxy、Nginx
硬件一般使用比较多的是F5，也有很多人使用国内的一
些产品，如梭子鱼、绿盟等
Haproxy应用分析
LVS在企业应用中抗负载能力很强，但存在不足
- .LVS不支持正则处理，不能实现动静分离
- 对于大型网站，LVs的实施配置复杂，维护成本相对较高
Haproxy是一款可提供高可用性、负载均衡、及基于
TCP和HTTP应用的代理的软件
- 适用于负载大的Web站点
- 运行在硬件上可支持数以万计的并发连接的连接请求
Haproxy调度算法原理
Haproxy支持多种调度算法，最常用的有三种
1：RR (Round Robin)
RR算法是最简单最常用的一种算法，即轮询调度
理解举例
◆有三个节点A、B、C
◆第一个用户访问会被指派到节点A
◆第二个用户访问会被指派到节点B
◆第三个用户访问会被指派到节点C
◆第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡效果
2：LC (Least Connections)
◆最小连接数算法，根据后端的节点连接数大小动态分配前端请求
理解举例
◆有三个节点A、B、C,各节点的连接数分别为A:4、B:5、 C:6
◆第一个用户连接请求，会被指派到A上，连接数变为A:5、B:5、 C:6.
◆第二个用户请求会继续分配到A上,连接数变为A:6、B:5、 C:6; 再
有新的请求会分配给B，每次将新的请求指派给连接数最小的客户端
◆由于实际情况下A、B、C的连接数会动态释放，很难会出现-样连
接数的情况
◆此算法相比较rr算法有很大改进，是目前用到比较多的一种算法
3：SH (Source Hashing)
◆基于来源访问调度算法,用于- 些有Session会话记录在服务器端的场景， 可以
基于来源的IP、Cookie等做集群调度
理解举例
◆有三个节点A. B、C,第一个用户第一次访问被指派到了A,第二个用户第一次
访问被指派到了B
◆当第一个用户第二次访问时会被继续指派到A,第二个用户第二二次访问时依旧会
被指派到B，只要负载均衡调度器不重启，第一个用户访问都会被指派到A，第二
个用户访问都会被指派到B，实现集群的调度
◆此调度算法好处是实现会话保持，但某些IP访问量非常大时会引起负载不均衡，
部分节点访问量超大，影响业务使用
高并发架构
主机要求
| 主机 | 操作系统 | IP地址 | 主要软件 |
|---|---|---|---|
| Haproxy | centos7.3 | 192.168.136.60 | Haproxy1.5.19 |
| nginx1 | centos7.3 | 192.168.136.40 | nginx-1.12.0 |
| nginx2 | centos7.3 | 192.168.136.30 | nginx-1.12.0 |
| 客户端 | windows10 | 192.168.136.99 | 游览器 |
Nginx的安装与启动
- 在两台网站服务器.上安装Nginx,并启动服务
- 使用源码编译的方式进行安装
- 关闭Firewalld防火墙
- 增加系统用户账号nginx
- 编译安装Nginx并启动
- 在两台Nginx.上配置测试网站，注意测试网页的内容应
该不同，以便进行测试
Haproxy安装与启动
在负载均衡器.上安装Haproxy
安装步骤
安装基础软件包
编译安装haproxy
要注意操作系统版本，是32位系统还是64位
建立Haproxy的配置文件
创建配置文件目录/etc/haproxy
将源码包提供的配置文件样例haproxy.cfg复制到配置文件
目录中
Haproxy配置文件详解
Haproxy配置文件通常分为3个部分
global:为全局配置
defaults:为默认配置
listen:为应用组件配置
Haproxy配置文件详解
defaults配置项配置默认参数，一般会被应用组件继承
如果应用组件中没有特别声明，将按默认配置参数设置
- log global:定义日志为globa|配置中的日志定义
- mode http:模式为http
- option httplog:采用http日志格式记录日志
- retries 3:检查节点服务器失败连续达到三次则认为节点不可用
- maxconn 2000: 最大连接数
- contimeout 5000: 连接超时时间
- clitimeout 50000:客户端超时时间
- srvtimeout 50000:服务器超时时间
Haproxy配置应用模块参数
listen配置项目一般为配置应用模块参数
- listen appli4-backup 0.0.0.0:10004:定义一个appli4-
backup的应用 - option httpchk /index.html:检查服务器的index.html文件
- option persist :强制将请求发送到已经down掉的服务器
- balance roundrobin:负载均衡调度算法使用轮询算法
- server/inst1 192.168.114.56:80 check inter 2000 fall 3:
定义在线节点 - server (inst2 192.168.114.56:81 check inter 2000 fall 3
backup:定义备份节点
http提交请求2种p
get，post
配置与测试
测试Haproxy集群
- 测试高性能
- 可在两个不同的浏览器中分别访问两个测试网站，正常情况下应该出
现两个网站的测试页面
高可用性 - 将其中- -台Nginx服务器停用，在客户端浏览器中访问Haproxy, 正
- 常情况下应出现另外一台Nginx服务 器的网站测试页面
Haproxy日志管理
默认是输出到系统的syslog中，生产环境中-般单独定义
定义的方法步骤
- 修改Haproxy配置文件中关于日志配置的选项，加入配置
- log /dev/log local0 info
- log /devlog local0 notice
- 修改rsyslog配置，将Haproxy相关的配置独立定义到
haproxy.conf,并放到/etc/rsyslog.d/下 - 保存配置文件并重启rsyslog服务,完成rsyslog配置
- 访问Haproxy集群测试网页并查看日志信息
实验步骤
实验需要4台服务器
nginx1节点：192.168.136.30
nginx2节点：192.168.136.40
haproxy：192.168.136.60
window10：192.168.136.88
节点服务器web1和web2配置两台一样的nginx
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# setenforce 0
[root@localhost ~]# hostname web1
[root@localhost ~]# su
.安装依赖包
[root@web1 ~]# yum install gcc-c++ pcre-devel zlib-devel make -y
rz waiting to receive.为web服务器创建用户nginx，便于管理，再进行编译安装
[root@web1 ~]# useradd -M -s /sbin/nologin nginx
[root@web1 ~]# tar zxvf nginx-1.12.0.tar.gz
[root@web1 ~]# cd nginx-1.12.0/
[root@web1 nginx-1.12.0]# ./configure \--prefix=/usr/local/nginx \--user=nginx \--group=nginx
[root@web1 nginx-1.12.0]# make && make install两台Nginx节点服务器创建首页，首页文件名一样，内容不一样
[root@web1 nginx-1.12.0]# cd /usr/local/nginx/
[root@web1 nginx]# cd html/
[root@web1 html]# vim test.html
<h1>this is kgc web</h1>
[root@web1 html]# ln -s /usr/local/nginx/sbin/nginx /usr/sbin/
[root@web1 html]# nginx 启动nginx
在网站上测试下nginx是否成功
haproxy服务器配置
关闭防火墙
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# setenforce 0
编译环境
[root@haproxy ~]# yum install pcre-devel bzip2-devel gcc gcc-c++ make -y
解压服务包
[root@haproxy ~]# tar zxvf haproxy-1.5.19.tar.gz
服务编译
[root@haproxy ~]# cd haproxy-1.5.19/
[root@haproxy haproxy-1.5.19]# make TARGET=linux26
[root@haproxy haproxy-1.5.19]# make install
将源码包提供的配置文件样例haproxy.cfg复制到配置文件
目录中
[root@haproxy haproxy-1.5.19]# mkdir /etc/haproxy
[root@haproxy haproxy-1.5.19]# cp examples/haproxy.cfg /etc/haproxy/
修改Haproxy配置文件
[root@haproxy haproxy-1.5.19]# cd /etc/haproxy/
[root@haproxy haproxy]# vim haproxy.cfg
# chroot /usr/share/haproxy
# redispatch
把这两句话注释掉set nu 26行以下的全部删除添加
listen webcluster 0.0.0.0:80 option httpchk GET /test.htmlbalance roundrobinserver inst1 192.168.169.100:40 check inter 2000 fall 3 server inst2 192.168.169.200:30 check inter 2000 fall 3
开启服务启动脚本
[root@haproxy haproxy]# cd ~/haproxy-1.5.19/
[root@haproxy haproxy-1.5.19]# cp examples/haproxy.init /etc/init.d/haproxy
[root@haproxy haproxy-1.5.19]# cd /etc/init.d/
[root@haproxy init.d]# chmod +x haproxy
让系统可以识别
[root@haproxy init.d]# chkconfig --add /etc/init.d/haproxy 名称自动添加
[root@haproxy init.d]# ln -s /usr/local/sbin/haproxy /usr/sbin/
[root@haproxy init.d]# service haproxy start
日志定义
[root@haproxy haproxy]# vim /etc/haproxy/haproxy.cfg log /dev/log local0 infolog /dev/log local0 notice
[root@haproxy haproxy]# service haproxy restart 定义配置文件
[root@haproxy haproxy]# cd /etc/rsyslog.d/
[root@haproxy rsyslog.d]# vim haproxy.conf
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~开启服务查看
[root@haproxy rsyslog.d]# systemctl restart rsyslog.service
[root@haproxy rsyslog.d]# service haproxy restart
[root@haproxy rsyslog.d]# ls /var/log/ 现在查看里面就有了haproxy这个文件了
[root@haproxy haproxy]# ls /var/log/haproxy/
haproxy-info.log haproxy-notice.log
Web群集与日志管理Haproxy搭建相关推荐
- web站点服务器日志管理及分析
管理Web网站不只是监视Web的速度和Web的内容传送.它不仅要关注服务器每天的吞吐量,还要了解这些Web网站的外来访问,了解网站各页面的访问情况.根据各页面的点击频率来改善网页的内容和质量,提高内容 ...
- Linux日志管理之搭建日志服务器
前期准备 两台CentOS虚拟机 网络正常两台机器可以ping通 最后还缺一个屏幕前的你(搭建日志服务器) 需求 进行日志服务器的配置,使客户端把 任意类型的 高于和等于info级别的日志通过TCP的 ...
- 高效多用的群集-Haproxy搭建Web集群
Haproxy搭建Web集群 Haproxy搭建Web集群 一.Haproxy前言 二.常见的Web集群调度器 三.Haproxy应用分析 四.Haproxy高性能负载均衡主要优点 五.四层与七层负载 ...
- haproxy搭建web群集
使用需求:负载均衡群阶可以用tocat+nginx的负载均衡群集,还有lvs负载均衡群集.三种群集相比来说,lvs性能最好,但是搭建复杂,ningx的upstream模块支持群集,但是群集的节点的故障 ...
- Web服务器群集——部署AWStats基于Apache的日志管理
部署AWStats基于Apache的日志管理 日志分割 AWStats日志分析系统介绍 部署AWStats 安装Apache服务 安装AWStats软件包 为要统计的站点建立配置文件 修改站点统计配置 ...
- haproxy负载均衡_使用haproxy搭建web集群
会不会有那么一天,生活可以简单到每天清早踏上一辆载着鲜花的脚踏车,微笑着穿过窄窄的街巷,为爱花的人送去芬芳,为需要知识的你送去帮助. 简介 在前面已经学习了使用Nginx.LVS做负载均衡群集,它们都 ...
- 基于LAMP实现web日志管理查看
前言:日志是一个重要的信息库,如何高效便捷的查看系统中的日志信息,是系统管理员管理系统的必备的技术. 实现方式: 1.将日志存储于数据库. 2.采用LAMP架构,搭建PHP应用,通过web服务访问数据 ...
- 【CyberSecurityLearning 31】Linux网络信息查看与配置、日志文件的管理、备份及日志服务器的搭建
目录 网络地址配置 1.确认系统的网卡信息和ip地址 2.关闭networkmanager服务 3.配置网络地址 通过配置文件配置网络地址(让配置的IP地址永久生效) 实验: 日志文件的管理与应急分析 ...
- sqlserver 2012实施与管理学习笔记（一）：选型和部署之单机部署、故障转移群集与日志传送
sqlserver 2012实施与管理学习笔记(一):选型和部署之单机部署.故障转移群集与日志传送 数据库的选型和部署 sqlserver的安装和升级 选择高可用性和灾难恢复技术 故障转移群集 日志传 ...
最新文章
- Scala 类和对象详解
- Mule ESB 学习笔记
- linux启动xorg进程,Linux 黑话解释：Xorg，X11，Wayland，什么是显示服务器
- english grammar in use 电子版_③ 采购笔记之节点与凭证、采购的进阶、采购合同要素。（电子版整理中）...
- var radioname = new array();_体坛观察丨争议判罚不止中超 为何VAR屡成足坛焦点？_足球...
- 微信小程序框架——微信小程序前端开发工具
- python创意实用案例-python实用案例
- java 中的通讯之HTTP协议
- 如何在苹果Mac上设置文档样板，开启文档时自动复制？
- Ant运行build.xml执行服务器scp，异常解决jsch.jar
- python百度关键词爬虫_python批量获取百度关键词相关结果数
- 《人件》(Peopleware)文摘
- 12.第十三章.合同管理
- 域名申请、解析和备案
- 西游解密：唐僧为何一定要去西天取经
- python 百度人脸 sdk_深更半夜实现python百度api人脸识别
- excel 删除重复项_在Excel 2007中删除重复项
- 中国计算机设计大赛蔡思琦,建策杯2018年江苏省大学生计算机设计大赛.PDF
- （仿古工艺品）床榻与苏29飞机装配图
- 2022卡塔尔世界杯赛程直播北京时间_足球世界杯对阵表图完整全部