Haproxy搭建Web集群

  • Haproxy搭建Web集群
  • 一、Haproxy前言
  • 二、常见的Web集群调度器
  • 三、Haproxy应用分析
  • 四、Haproxy高性能负载均衡主要优点
  • 五、四层与七层负载均衡的主要区别
  • 六、LVS和Haproxy应用分析
  • 七、Nginx和LVS和Haproxy有什么区别
    • 1、Nginx
    • 2、LVS
    • 3、Haproxy
  • 八、Haproxy搭建 Web 群集
    • 环境搭建
    • 1、部署haproxy服务器(192.168.172.10)
    • 2、编译安装Nginx服务器(192.168.172.20、192.168.172.30)
    • 3、启动Haproxy服务(192.168.172.10)
    • 4、测试
  • 九、日志定义
  • 总结

Haproxy搭建Web集群

一、Haproxy前言

  • HAProxy是一个使用c语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于TcP和HrrP的应用程序代理。
  • HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。EAPrcxp运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上。
  • HAProxy实现了一种事件驱动,单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space)实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么他们必须进行优化以使每个CPU时间片(Cycle)做更多的工作。
  • 包括GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter和 Tuenti在内的知名网站,及亚马逊网络服务系统都使用了HAProxy。

二、常见的Web集群调度器

  • 目前常见的Web集群调度器分为软件和硬件
    软件通常使用开源的LVS、Haproxy、Nginx
  • LVS性能最好,但是搭建相对复杂;Nginx的upstream模块支持集群功能,但是对集群节点健康检查功能不强,高并发没有Haproxy好
  • 硬件一般使用的比较多的是F5,也有很多人使用梭子鱼、绿盟等国内产品

三、Haproxy应用分析

  • LVS在企业应用中抗负载能力很强,但存在不足

    • LVS不支持正则处理,不能实现动静分离
    • 对于大型网站,LVS的实施配置复杂,维护成功相对较高
  • Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件
    • 适用于负载大的Web站点
    • 运行在硬件上可支持数万计的并发连接的连接请求

四、Haproxy高性能负载均衡主要优点

  • Haproxy在负载均衡速度和并发处理上是优于
  • NginxHaproxy支持虚拟主机,可以工作在4、7层
  • 能够补充Nginx的一些缺点,比如session的保持、cookie的引导等工作
  • 支持url检测后端的服务器的状态
  • Haproxy可以对Mysql进行负载均衡,对后端的DB节点进行检测和负载均衡
  • 支持很多负载均衡算法,Round-robin(轮询)、weight-round-robin(加权轮询)、source(原地址保持)、RI(请求URL)、rdp-cookie(根据cookie)

五、四层与七层负载均衡的主要区别

  • 四层负载均衡器是通过分析IP层及TCP/UDP层的流量实现的基于"IP +端口"的负载均衡,主要通过报文的目标地址和端口配合负载均衡算法选择后端真实服务器,确定是否需要对报文进行修改(根据需求,可能会修改目标地址、源地址、MAc地址等)并将数据转发至选出的后端真实服务器。
  • 七层负载均衡器是基于应用层信息(如URI、Cookies等)的负载均衡。主要依据报文的内容配合负载均衡算法选择后端真实服务器,然后再分发请求到真实服务器进行处理,也称"内容交换器"。客户端与负载均衡器、负载均衡器与后端真实服务器之间会分别建立CP连接。

六、LVS和Haproxy应用分析

  • LVS在企业应用中抗负载均衡能力很强,但存在不足
  • LVS不支持正则处理(因为是应用层),不能实现动静分离对于大型网站,LVS的实施配置复杂,维护成本相对较高
  • Haproxy是一块可提供高可用性、负载均衡及基于rCP和HTTP应用的代理软件特别适合于负载特别大的web站点(可以承受高并发,可与Nginx配合)
  • 运行在当前的硬件上可支持数以万计的并发连接请求

七、Nginx和LVS和Haproxy有什么区别

1、Nginx

  • 支持正则
  • 只支持基于端口的健康检查
  • 不支持session 的直接保持,但能通过Ip _hash来解决
  • 对网络稳定性要求不高
  • 反向代理能力强
  • nginx 社区活跃

2、LVS

  • 只能基于四层端口转发
  • 在四层做分发作用,抗负载能力强
  • 应用范围广(几乎可以对所有应用做负载)

3、Haproxy

  • 支持8种负教均衡策略
  • 仅做负载均衡软件使用,在高并发情况下性能优于Nginx
  • 支持URL健康检测、支持session保持

八、Haproxy搭建 Web 群集

实验所需安装包
haproxy-1.5.19.tar.gz
nginx-1.12.0.tar.gz

环境搭建

主机 操作系统 IP地址 所需软件/安装包/工具
Haproxy CentOS7 192.168.172.10 haproxy-1.5.19.tar.gz
Nginx1 CentOS7 192.168.172.20 nginx-1.12.0.tar.gz
Nginx2 CentOS7 192.168.172.30 nginx-1.12.0.tar.gz
客户端 CentOS7 192.168.172.40

1、部署haproxy服务器(192.168.172.10)

1.关闭防火墙,将安装Haproxy所需软件包传到/opt目录下并编译安装

systemctl stop firewalld
setenforce 0cd /opt
haproxy-1.5.19.tar.gz
yum install -y pcre-devel bzip2-devel gcc gcc-c++ maketar zxvf haproxy-1.5.19.tar.gz
cd haproxy-1.5.19/
make TARGET=linux2628 ARCH=x86_64
make install



注意:使用uname -r查看内核,如:2.6.18-371.el5,此时该参数用TARGET=linux26;
kernel大于2.6.28的用TARGET=linux2628
ARCH=x86_64;系统位数

Haproxy服务器配置

mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy/cd /etc/haproxy/
vim haproxy.cfg
global#4~5行–修改,配置日志记录,local0为日志设备,默认存放到系统日志3log /dev/log   local0 info     log /dev/log   local0 notice#log loghost    local0 infomaxconn 4096   #最大连接数,需考虑ulimit-n限制#8行–注释,chroot运行路径,为该服务自设置的根目录,一般需将此行注释掉#chroot /usr/share/haproxyuid 99    #用户UIDgid 99    #用户GIDdaemon    #守护进程模式defaults        log     global      #定义日志为global配置中的日志定义mode    http          #模式为httpoption  httplog     #采用http日志格式记录日志option  dontlognull #不记录健康检查日志信息retries 3           #检查节点服务器失败次数,连续达到三次失败,则认为节点不可用redispatch                 #当服务器负载很高时,自动结束当前队列处理比较久的连接maxconn 2000                  #最大连接数contimeout      5000          #连接超时时间clitimeout      50000            #客户端超时时间srvtimeout      50000           #服务器超时时间#删除下面所有listen项–,添加
listen  webcluster 0.0.0.0:80       option httpchk GET /test.html   #检查服务器的test.html文件balance roundrobin                #负载均衡调度算法使用轮询算法roundrobinserver inst1 192.168.172.20:80 check inter 2000 fall 3     #定义在线节点server inst2 192.168.172.30:80 check inter 2000 fall 3#--参数说明----------------
balance roundrobin   #负载均衡调度算法
#轮询算法: roundrobin;最小连接数算法: leastconn;来源访问调度算法: source,类似于nginx的ip_hashcheck inter 2000 #表示haproxy服务器和节点之间的一个心跳频率
fall 3   #表示连续三次检测不到心跳频率则认为该节点失效
若节点配置后带有""backup"表示该节点只是个备份节点,只有主节点失效该节点才会上。不携带"backup",表示为主节点,和其它主节点共同提供服务。


2、编译安装Nginx服务器(192.168.172.20、192.168.172.30)

systemctl stop firewalld
setenforce 0yum install -y pcre-devel zlib-devel gcc gcc-c++ make useradd -M -s /sbin/nologin nginxcd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/cd nginx-1.12.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginxmake && make installln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/nginx      #启动nginx 服务





192.168.172.20

写入网页内容
echo "this is zzz web" > /usr/local/nginx/html/test.html

192.168.172.30

写入网页内容
echo "this is yyy web" > /usr/local/nginx/html/test.html

3、启动Haproxy服务(192.168.172.10)

cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
cd /etc/init.d/
ls
chmod +x haproxy
chkconfig --add /etc/init.d/haproxy
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxyservice haproxy start    或   /etc/init.d/haproxy start

4、测试

在客户端使用浏览器打开 http://192.168.172.10/test.html ,不断刷新浏览器测试负载均衡效果

九、日志定义

  • 默认haproxy的日志是输出到系统的syslog中,查看起来不是非常方便,为了更好的管理haproxy的日志,我们在生产环境中一般单独定义出来。需要将haproxy的info及notice日志分别记录到不同的日志文件中。
vim /etc/haproxy/haproxy.cfg
globallog /dev/log local0 infolog /dev/log local0 noticeservice haproxy restart
  • 需要修改rsyslog配置,为了便于管理。将haproxy相关的配置独立定义到haproxy.conf,并放到/etc/rsyslog.d/下,rsyslog启动时会自动加载此目录下的所有配置文件。
vim /etc/rsyslog.d/haproxy.confif ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~
说明:
这部分配置是将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下,将notice日志记录到/var/log/haproxy/haproxy-notice.log下。“&~”表示当日志写入到日志文件后,rsyslog停止处理这个信息。systemctl restart rsyslog.servicetail -f /var/log/haproxy/haproxy-info.log      #查看haproxy的访问请求日志信息

总结

Nginx和LVS和Haproxy有什么区别

  • 1、Nginx
    支持正则
    只支持基于端口的健康检查
    不支持session 的直接保持,但能通过Ip _hash来解决
    对网络稳定性要求不高
    反向代理能力强
    nginx 社区活跃
  • 2、LVS
    只能基于四层端口转发
    在四层做分发作用,抗负载能力强
    应用范围广(几乎可以对所有应用做负载)
  • 3、Haproxy
    支持8种负教均衡策略
    仅做负载均衡软件使用,在高并发情况下性能优于Nginx
    支持URL健康检测、支持session保持

四层与七层负载均衡的主要区别

  • 四层负载均衡器是通过分析IP层及TCP/UDP层的流量实现的基于"IP +端口"的负载均衡,主要通过报文的目标地址和端口配合负载均衡算法选择后端真实服务器,确定是否需要对报文进行修改(根据需求,可能会修改目标地址、源地址、MAc地址等)并将数据转发至选出的后端真实服务器。
  • 七层负载均衡器是基于应用层信息(如URI、Cookies等)的负载均衡。主要依据报文的内容配合负载均衡算法选择后端真实服务器,然后再分发请求到真实服务器进行处理,也称"内容交换器"。客户端与负载均衡器、负载均衡器与后端真实服务器之间会分别建立CP连接。

Haproxy高性能负载均衡主要优点

  • Haproxy在负载均衡速度和并发处理上是优于
  • NginxHaproxy支持虚拟主机,可以工作在4、7层
  • 能够补充Nginx的一些缺点,比如session的保持、cookie的引导等工作
  • 支持url检测后端的服务器的状态
  • Haproxy可以对Mysql进行负载均衡,对后端的DB节点进行检测和负载均衡
  • 支持很多负载均衡算法,Round-robin(轮询)、weight-round-robin(加权轮询)、source(原地址保持)、RI(请求URL)、rdp-cookie(根据cookie)

高效多用的群集-Haproxy搭建Web集群相关推荐

  1. haproxy负载均衡_使用haproxy搭建web集群

    会不会有那么一天,生活可以简单到每天清早踏上一辆载着鲜花的脚踏车,微笑着穿过窄窄的街巷,为爱花的人送去芬芳,为需要知识的你送去帮助. 简介 在前面已经学习了使用Nginx.LVS做负载均衡群集,它们都 ...

  2. 集群(三)——haproxy+nginx搭建web集群

    集群(三)--haproxy+nginx搭建web集群 一.Haproxy 前言 二.Haproxy 简介 1.常见的web集群调度器 2.Haproxy应用分析 3.Haproxy高性能负载均衡的主 ...

  3. aproxy配合Nginx搭建Web集群部署实验(图文详解)

    文章目录 一.常见的Web集群调度器 二.Haproxy应用分析 三.Haproxy调度算法原理 四.Haproxy搭建 Web 群集 实验所需安装包 环境配置 1.部署haproxy服务器(192. ...

  4. SaltStck 搭建Web集群运用示例 (一)

    saltstack是一个非常强大的管理工具,使用saltstack会做到标准化的管理,下面就以一个简单的示例来更加具体的了解一下saltstack的功能特性. 使用saltstack来搭建一个简单的w ...

  5. LVS之VS/NAT搭建web集群实战!!!

    项目背景 利用lvs的vs/NAT技术实现一个由负载调度器和两个web服务器组成的架构! 试验环境 vmware workstation 11 centos6.5的系统下 load balance:i ...

  6. 基于nginx的高可用web集群

    文章目录 一.写在前面 编译下载 nginx.conf文件解析 安装好后的操作 日志问题,不同级别的错误 二.环境搭建学习 web服务器配置 错误页面跳转 IO多路复用 在nginx里部署https服 ...

  7. 高效多用的群集之LVS负载均衡群集(NAT模式)

    目录 一.群集 1.群集的含义 2.为什么会有群集 二.群集的分类 1.负载均衡群集 2.高可用群集 3.高性能群集 三.负载均衡群集架构和工作模式 1.负载均衡的结构 第一层,负载调度器(Load ...

  8. 基于阿里云服务器搭建hadoop集群:HDFS的namenode WEB访问9870端口打不开解决方法

    基于阿里云服务器搭建hadoop集群:HDFS的namenode WEB访问9870端口打不开解决方法 以下是基于我所面临问题的解决办法. 1.在本地的c:windows/system32/dirve ...

  9. WEB集群与各种负载均衡简介 (资源)

    2019独角兽企业重金招聘Python工程师标准>>>                                负载均衡构架图      集群(Cluster):是一组独立的计 ...

最新文章

  1. 昨天,JetBrains 推出“下一代 IDE”,快看有哪些值得期待的功能!
  2. MIT科学家首次发现只对歌唱有反应的神经元,对,只能人声带伴奏的那种歌
  3. PAT甲级1049 Counting Ones (30 分):[C++题解]统计1的个数、数位统计
  4. “约见”面试官系列之常见面试题之第八十八篇之什么是vue生命周期(建议收藏)
  5. python对象模型映射_【500 Lines or Less】-【翻译练习】-【chapter 14】-【简单对象模型】-【第一部分】...
  6. pytorch中的Sequential使用方法
  7. 洛谷【数据结构1-1】线性表
  8. 软件行业 职位 英文简称
  9. 第二次作业,问卷星的使用
  10. 【ybt金牌导航1-4-3】【luogu P2627】修剪草坪 / Mowing the Lawn G
  11. java opencv 图片读取,边缘化,写出图片操作
  12. 如何在企业微信中打通私域闭环?
  13. java存储字节_Java字节与字符流永久存储json数据
  14. 进程的切换——switch_to函数
  15. oracle查看日期是第几周,oracle查看日期是第几周-Oracle
  16. Unity制作RPG游戏——战斗注视LockOn实现方法
  17. PSPad v4.5.3.2298
  18. [转载]「交叉验证」到底如何选择K值?
  19. Python抓取熊猫TV分类下的主播人气排名
  20. linux暴力破解工具

热门文章

  1. 【今晚7点半】:GVoice 千万在线语音传输的那些事
  2. 腾讯AI Lab推进医疗全流程覆盖:辅诊导诊精度再升级、布局三类病理AI研究
  3. 腾讯计费:助力游戏千亿级营收,覆盖180多个国家
  4. 腾讯分布式数据库DCCB
  5. Android项目集成Weex
  6. 大剑无锋之Hive调优【面试推荐】
  7. 大剑无锋之HashMap全考点
  8. leetcode 986. Interval List Intersections | 986. 区间列表的交集(双指针)
  9. leetcode 978. Longest Turbulent Subarray | 978. 最长湍流子数组(Java)
  10. leetcode 814. Binary Tree Pruning | 814. 二叉树剪枝(Java)