MSM--Memcached_Session_Manager介绍及使用
我 们都知道对于一些大型的web2.0的网站,在正式部署时一般是部署在不同故障域的多台应用服务器上,以j2ee应用为例,一般我们都会部署在 tomcat下,假如我们部署了10台tomcat服务器,那这10台tomcat可能是部署在不同的机器上,然后将应用程序copy到这10台 tomcat下,然后启动所有tomcat,一般来说这样做的目的是为了达到负载均衡以及避免单点故障,另外也考虑到国内网络环境的原因,避免跨网络运营 商访问而导致访问速度低下的问题,当然不要忘了坐镇这10台tomcat前端的还有我们的反向代理服务器,比如nginx,这个就是另一个话题了,我今天 主要讲的是,对于这种分布式tomcat环境,我们如何保证session 的唯一性(我假定你知道session是什么)。这也是在日期公司的一个项目中负责解决的一个问题,当然实际上这并不是什么新的议题,之前就有很多解决方 案,但是一般来说的大体的解决方案是自己通过编写一段代码或者通过配置tomcat的filter,将产生的session放到同一个内存数据库中,事实 上这确实可行的,只不过我比较懒,我总是觉得这种问题应该有更省事更成熟的解决方案,那确实是有的,也就是我马上介绍 的 Memcached_Session_Manager,简称msm,这就是一个用于解决分布式tomcat环境下session共享的问题的开源解决 方案。
一 简介
(以下内容由个人根据msm官网大意翻译,原文地址:http://code.google.com/p/memcached-session-manager/)
引言
MSM--memcached session manager是一个高可用的Tomcat session共享解决方案,除了可以从本机内存快速读取Session信息(仅针对黏性Session)外,同时可使用memcached存取Session,以实现高可用。
对于非黏性Session,memcached直接存储session。
除memcached外,还可以其他缓存组件如memcachedb, membase等。
特性
支持Tomcat6、Tomcat7
支持黏性、非黏性Session
无单一故障点
可处理tomcat故障转移
可处理memcached故障转移
插件式session序列化
允许异步保存session,以提升响应速度
只有当session有修改时,才会将session写回memcached
JMX管理&监控
MSM解决的问题
假设你有一个Tomcat集群,使用黏性session,如何应对单点故障问题?为了应对更多的并发量和可用性,你可以不断的增加Tomcat节点,但是单点故障仍旧会是个问题:如果使用黏性Session,一个Tomcat故障时,其他Tomcat并不能接管故障Tomcat节点的Session。
解决此问题的思路就是将黏性Session同时保存在Memcached中,如果单个Tomcat发生故障,集群中的其他Tomcat可以从Memcached中得到Session信息。
【注】对于非黏性Session,MSM V1.4.0及以后版本已经支持。
MSM如何工作
【注】以下论述仅针对黏性Session
安装在Tomcat上的MSM使用本机内存保存session,和StandardManager一样。另外,当一个请求结束时,session会被送回Memcached进行备份。当下一次请求开始时,本地Session可用,直接服务,请求结束后,session又被送回Memcached备份。
当集群中的一个Tomcat挂掉,下一次请求会被路由到其他Tomcat上。负责处理此此请求的Tomcat并不清楚Session的信息。此时它会从Memcached查找该Session,更新该Session并将其保存在本机内容。此次请求结束,session被修改,送回Memcached备份。
.
What else?
上边介绍的是处理Tomcat故障转移,MSM又是如何处理Memcached故障转移呢?
如果一个Memcached故障,当前Memcached中的Session会转移到其他Memcached节点,同时,JSESSIONID被修改并送回浏览器。
如果使用黏性Session,应确保loadbalancer中配置生成的JSESSIONID无任何后缀。
SESSIONID的格式
MSM知道Memcached节点列表,这些节点标识会存储在SESSIONID中,SESSIONID值类似:602F7397FBE4D9932E59A9D0E52FE178-n1 【其中n1为Memcached节点标识】
二 安装
参考网站:http://code.google.com/p/memcached-session-manager/wiki/SetupAndConfiguration
环境
1. Linux 环境
2. Tomcat7.X (3台),在同一台机器上启动三台Tomcat需要修改conf/server.xml中的三个端口:8080,8005,8009
3. MemBase (1台),也可采用memcached,使用方法一样,只是在java客户端连接时有不同。
4. nginx
准备的jar包
注意:不同的tomcat版本(tomcat6,tomcat7)所需的包不一样,需要针对tomcat版本下载对应的包.
1.这是采用的最新稳定版1.6.1,序列化方式使用的是kryo,注意版本要求与msm版本基本一致,建议统一采用最新稳定版,如下。其中序列化方式是可选的。
2.这是采用的javolution的序列化方式所有需要的包
建议采用kryo序列化方式,效率更高。
配置
1. 将上面所提到的包全部拷贝到tomcat的lib下(三台tomcat都需要)
2. 修改每台tomcat的conf目录下得context.xml文件或者server.xml文件,在其中加入如下任意一段代码(注意:当使用多台tomcat时,一定要使用non-sticky模式):
A:使用默认的sticky session,kryo序列化方式,memcached缓存
- <Context>
- ...
- <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
- memcachedNodes="n1:host1.yourdomain.com:11211,n2:host2.yourdomain.com:11211"
- failoverNodes="n1"
- requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
- transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
- />
- </Context>
B:使用non-sticky session
- <Context>
- ...
- <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
- memcachedNodes="n1:host1.yourdomain.com:11211,n2:host2.yourdomain.com:11211"
- sticky="false"
- sessionBackupAsync="false"
- lockingMode="uriPattern:/path1|/path2"
- requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
- transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
- />
- </Context>
C:使用membase
- <Context>
- ...
- <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
- memcachedNodes="http://host1.yourdomain.com:8091/pools"
- username="bucket1"
- password="topsecret"
- memcachedProtocol="binary"
- sticky="false"
- sessionBackupAsync="false"
- requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
- transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
- />
- </Context>
当使用javolution序列化方式时将:
- transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory”
替换为:
- transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory"
配置完成后,分别启动tomcat,正常启动说明msm配置成功。
3. 最后附上nginx配置:
修改配置文件nginx\conf\nginx.conf
1. 找到内容server {
在它的上面加入如下内容:
- upstream 10.6.53.120 {
- ip_hash; ----#ip_hash策略将同一IP的所有请求都转发到同一应用服务器
- server 10.6.53.120:8080;---------我的tomcat端口号
- server 10.6.53.120:7080;
- server 10.6.53.120:6080;
- }<span>(</span><span style="">这是负载切换使用的服务器网站</span><span>IP)</span>
2. 找到
- location / {
- root html;
- index index.html index.htm;
- }
把内容更改如下:
- location / {
- proxy_pass http://10.6.53.120
- proxy_redirect default;
- proxy_connect_timeout 10; added by me(跟代理服务器连接的超时时间,必须留意这个time out时间不能超过10秒.当一台服务器当掉时,过10秒转发到另外一台服务器)
- }
3. 找到
- server {
- listen 80;
- server_name localhost;
把内容改成如下:
- server {
- listen 80;
- server_name 10.6.53.120;
(这是监听访问域名绑定那台服务器80端口的请求)
到这里所有的配置已经完成,现在准备一个简单的web工程,并分别部署到三台tomcat下。启动memcached(membase),启动三台tomcat,启动nginx,然后在地址栏输入url地址,看能否成功访问。关闭其中一台tomcat,看是否仍然能够正常访问,能够则说明配置nginx配置成功。
三 原理
MSM(memcached-session-manager) 支持tomcat6 和tomcat7 ,利用 Value(Tomcat 阀)对Request进行跟踪。Request请求到来时,从memcached加载session,Request请求结束时,将tomcat session更新至memcached,以达到session共享之目的, 支持 sticky 和 non-sticky 模式。需要注意的是使用sticky模式时需要配置jvmroute参数,配置方式如下:
配置$CATALINA_HOME/conf/server.xml
- <Engine name="Catalina"defaultHost="localhost"jvmRoute="tomcat2">
注意每台tomcat的jvmroute参数都不能一样
Sticky 模式:tomcat session 为 主session, memcached 为备 session。Request请求到来时, 从memcached加载备 session 到 tomcat (仅当tomcat jvmroute发生变化时,否则直接取tomcat session);Request请求结束时,将tomcat session更新至memcached,以达到主备同步之目的。下面是sticky模式时响应的流程图(图片来源网络):
Non-Sticky模式:tomcat session 为 中转session, memcached1 为主 sessionmemcached 2 为备session。Request请求到来时,从memcached 2加载备 session 到 tomcat,(当 容器 中还是没有session 则从memcached1加载主 session 到 tomcat, 这种情况是只有一个memcached节点,或者有memcached1 出错时),Request请求结束时,将tomcat session更新至 主memcached1和备memcached2,并且清除tomcat session 。以达到主备同步之目的,如下是non-sticky模式的响应流程图:(图片来源网络)。
Memcached一些特性和限制
l 在 Memcached 中可以保存的 item 数据量是没有限制的,只有内存足够
l Memcached 单进程最大使用内存为 2G ,要使用更多内存,可以分多个端口开启多个 , Memcached进程
l 最大 30 天的数据过期时间 , 设置为永久的也会在这个时间过期,常量 REALTIME_MAXDELTA 60 * 60 *24 *30控制
l 最大键长为 250 字节,大于该长度无法存储,常量 KEY_MAX_LENGTH 250 控制
l 单个 item最大数据是1MB ,超过1MB 数据不予存储,常量 POWER_BLOCK 1048576 进行控制,它是默认的 slab大小
l 最大同时连接数是200 ,通过conn_init() 中的freetotal 进行控制,最大软连接数是 1024,通过settings.maxconns=1024进行控制
l 跟空间占用相关的参数: settings.factor=1.25, settings.chunk_size=48, 影响 slab的数据占用和步进方式
关于Memcached的使用,应当在需要的情况下才使用Memcached,比如需要实现分布式缓存系统,否则,如果是类似单台缓存服务器,那么建议最好不要用Memcached,改用其他缓存系统。
MSM--Memcached_Session_Manager介绍及使用相关推荐
- 采用Memcached实现分布式Session
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
- MSM搭建(Memcached_Session_Manager)--解决集群session共享
一.环境 tomcat7三台,nginx(负载均衡), memcached(1.4.0) 需要的jar 二.memcached搭建 需要安装 libevent 三.tomcat配置 在tomc ...
- 基于MSM 的tomcat session 共享
一 ,是基于tomcat cluster 来配置,当然这个配置也十分的简单,但是tomcat 官网建议tomcat cluster 配置,tomcat 不能超过4台,如果超过四台tomcat,不仅容 ...
- Memcached + MSM 实现Tomcat Session保持
Memcached + MSM 实现Tomcat Session保持 tomcat memcached 大纲 前言 Memcached介绍 MSM介绍 实验拓扑 实验环境 实验步骤 安装配置Tomca ...
- Linux驱动基础:MSM平台AP/CP通信机制
点击打开链接 概述 MSM平台AP和CP封装到一个芯片,共享内容.所以之前也说过,高通的MSM解决方案中,CP的代码都是由AP放到指定地址的内存中以供CP运行.那上传完代码,CP开始跑之后,AP/CP ...
- 探测器反向偏压_科学网—《涨知识啦22》---MSM型光电探测器 - 寇建权的博文
此前,小赛给大家简单普及了金属与半导体之间的两种接触类型:欧姆接触与肖特基接触,二者也凭借各自的优势被研究人员充分应用.本周小赛给大家主要介绍的是基于肖特基接触类型的MSM型光电探测器的基本原理. 众 ...
- 前端就业之vue介绍
vue介绍 1.什么是vue.js 是一套用于构建用户界面的渐进式框架.vue的设计可以自底层向上逐层应用.vue的核心库只关注视图层.可以为单页面应用提供驱动. 2.起步 下载vue.js ja ...
- MIPI DSI协议介绍
原文地址:http://blog.csdn .NET/qq160816/article/details/19555957 一.MIPI MIPI(移动行业处理器接口)是Mobile Industry ...
- Android:adb 详细介绍
adb 详细介绍 2018年03月15日 15:34:54 yulle 阅读数:15228更多 个人分类: adb ADB,即 Android Debug Bridge,它是 Android 开发/测 ...
最新文章
- Redis3.0 配置文件说明
- 编译原理上机实习c语言小子集编译程序的实现报告,编译原理上机实习指导书(2015-11修改).pdf...
- 连你的免疫系统都拒绝996:半夜吃东西更容易拉肚子 | Cell
- Yii CDbCriteria 常用方法
- 解决Intellij idea运行android application时找不到aapt/li...
- 元素,布局方式,BFC和清除浮动
- 【图像分类】分类专栏正式上线啦!初入CV、AI你需要一份指南针!
- Flask-Login用户登陆
- 计算机网络【0】概述
- Google 的服务,你用了那些?
- Android通知栏Notification弹出横幅显示的解决方法
- 实用设置_华为手机4个冷门实用的设置,都知道的绝对是资深花粉
- 路由器常见问题及解决办法
- ( 转 ) CORS 有一次 OPTIONS 请求的原理
- opencv 识别火灾_使用深度学习和OpenCV早期火灾探测系统
- linux命令格式,获取帮助及其目录结构简要理解
- wsdl2java 工具_apache CXF wsdl2java工具的使用
- 课程设计------学生考勤管理系统
- 小米全面对标iPhone
- 中国大学 MOOC C语言程序设计----编程部分答案解析
热门文章
- poj2175费用流消圈算法
- hdu4901 枚举状态(找集合对S(xor) ==T(and))
- hdu3400 两重三分
- 计算机网络-信道的极限容量
- 【错误记录】Android Studio 编译报错 ( Deprecated Gradle features were used in this build, making it incompat )
- 【设计模式】备忘录模式 ( 简介 | 适用场景 | 优缺点 | 代码示例 )
- 【Android 安装包优化】p7zip 源码交叉编译 Android 平台可执行程序 ( 下载 p7zip 源码 | 交叉编译 Android 中使用 7z 可执行程序 )
- Redis主从+KeepAlived实现高可用
- Action中五个常量解释,(success,error,input,login,none)
- nowcoder 提高组模拟赛 选择题 解题报告