寫在前面
在分布式多tomcat web server集群環(huán)境下,首先要解決的是session的共享問題,實(shí)現(xiàn)思路一般來說有以下三種:
(1) session sticky:其實(shí)session sticky并不是session共享方案,而是多tomcat的集群方案,其需要配合nginx/apache實(shí)現(xiàn),將同一用戶請(qǐng)求轉(zhuǎn)到相同的tomcat結(jié)點(diǎn),多結(jié)點(diǎn)之間并不共享sesison。優(yōu)點(diǎn)是可以實(shí)現(xiàn)簡單的用戶會(huì)話綁定,缺點(diǎn)就是結(jié)點(diǎn)故障時(shí),節(jié)點(diǎn)上面的session會(huì)丟失。所以session sticky這種方案一般會(huì)配合下面兩種方式使用。
(2) session replication cluster:多tomcat節(jié)點(diǎn)之間進(jìn)行session的同步,集群中的tomcat節(jié)點(diǎn)存儲(chǔ)相同的session會(huì)話信息。
(3) session server:將session集中存儲(chǔ)在同一個(gè)地方,如redis/memcached,甚至DB。此時(shí),tomcat節(jié)點(diǎn)本身內(nèi)存中并不存儲(chǔ)session。
本文采用session server的方式,主要講解使用memcached-session-manager組件搭建nginx + tomcat + memcached,實(shí)現(xiàn)集群和session共享存儲(chǔ)環(huán)境的大致過程。
實(shí)驗(yàn)實(shí)現(xiàn)基于Nginx+Tomcat+Memcached的session共享集群
有關(guān)參考詳見https://github.com/magro/memcached-session-manager,簡單網(wǎng)絡(luò)拓?fù)淙缦聢D所示:

實(shí)驗(yàn)環(huán)境準(zhǔn)備
搭建上圖所示的實(shí)驗(yàn)環(huán)境
為了突出實(shí)驗(yàn)的重點(diǎn),一些部件如路由器、防火墻以及交換機(jī)等等一并省略,實(shí)驗(yàn)環(huán)境在同一個(gè)網(wǎng)絡(luò)中。其中CLIENT是宿主機(jī),其余的機(jī)器都采用的虛擬機(jī)(系統(tǒng)是centos7.3)。具體版本信息如下:
CentOS Linux release 7.3.1611 (Core)
Nginx 1.10.2
Tomcat 7.0.69
Memcached 1.4.15
說明版本信息的原因是后面使用的jar包可能對(duì)centos以及tomcat的版本有要求。
確保所有虛擬機(jī)上面的防火墻和selinux處于關(guān)閉狀態(tài)。
各節(jié)點(diǎn)時(shí)間必須同步
各節(jié)點(diǎn)之間通過主機(jī)名互相通信,建議使用/etc/hosts文件實(shí)現(xiàn)
各節(jié)點(diǎn)之間的root用戶可以基于密鑰認(rèn)證的ssh服務(wù)完成互相通信
實(shí)驗(yàn)過程
一、配置Memcached
兩臺(tái)Memcached的配置是類似的,所以以Memcached1為例來說明一下配置的過程。
# 安裝Memcached
yum -y install memcached
# 協(xié)議格式使用二進(jìn)制binary格式的話,需要安裝專用客戶端工具
yum install libmemcached -y
# 啟動(dòng)memcached
systemctl start memcached
ss -ntlu
# 測(cè)試,指令參考/usr/share/doc/memcached-1.4.15/protocol.txt
telnet 127.0.0.1 11211
add mykey 1 600 15
hello memcached
STORED
get mykey
VALUE mykey 1 15
hello memcached
END
quit
二、配置Tomcat
兩臺(tái)Tomcat的配置類似,所以以Tomcat1為例來說明一下配置的過程。
# 安裝JDK
yum install java-1.8.0-openjdk-devel
# 安裝tomcat
yum install tomcat tomcat-admin-webapps tomcat-webapps tomcat-docs-webapp
# 啟動(dòng)tomcat,查看端口和服務(wù)是否正常,在客戶端用瀏覽器訪問測(cè)試一下
systemctl start tomcat
ss -ntlp
# 相關(guān)包下載,可參考https://github.com/magro/memcached-session-manager/wiki/SetupAndConfiguration
# 下載的包放在/usr/share/tomcat/lib目錄下
spymemcached-2.11.1.jar javolution-5.4.3.1.jar
memcached-session-manager-1.8.3.jar
memcached-session-manager-tc7-1.8.3.jar
msm-javolution-serializer-1.8.3.jar
# 修改server.xml
vim /etc/tomcat/server.xml
# 在<Host name="localhost" appBase="webapp unpackWARs="true" autoDeploy="true"> 里面添加Context
<Context path="/myapp" docBase="myapp" reloadable="true">
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="m1:192.168.1.14:11211,m2:192.168.1.16:11211"
failoverNodes="m2"
requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory" />
</Context>
# 準(zhǔn)備webapp
cd /usr/share/tomcat/webapps/
mkdir myapp/{WEB-INF,META-INF,classes,lib} -pv
# 準(zhǔn)備頁面
vim myapp/index.jsp
<%@ page language="java" %>
<html>
<head><title>TomcatA</title></head>
<body>
<h1><font color="red">TomcatA.magedu.com</font></h1>
<table align="centre" border="1">
<tr>
<td>Session ID</td>
<% session.setAttribute("magedu.com","magedu.com"); %>
<td><%= session.getId() %></td>
</tr>
<tr>
<td>Created on</td>
<td><%= session.getCreationTime() %></td>
</tr>
</table>
</body>
</html>
# 重啟tomcat
systemctl restart tomcat
Tomcat2除了/usr/share/tomcat/webapps/myapp/index.jsp配置不同,其余和Tomcat1是一樣的,Tomcat2的index.jsp配置如下:
<%@ page language="java" %>
<html>
<head><title>TomcatB</title></head>
<body>
<h1><font color="blue">TomcatB.magedu.com</font></h1>
<table align="centre" border="1">
<tr>
<td>Session ID</td>
<% session.setAttribute("magedu.com","magedu.com"); %>
<td><%= session.getId() %></td>
</tr>
<tr>
<td>Created on</td>
<td><%= session.getCreationTime() %></td>
</tr>
</table>
</body>
</html>
三、配置Nginx
# 如果有安裝有apache,那么停掉服務(wù)
systemctl stop httpd
# 安裝nginx
yum install nginx
# 配置反代
vim /etc/nginx/nginx.conf
# 在http{} 里面添加
upstream webgroup{
server 192.168.1.7:8080;
server 192.168.1.15:8080;
}
# server{}修改的部分如下:
server{
index index.jsp index.html
location / {
proxy_pass http://webgroup;
}
}
# nginx服務(wù)啟動(dòng)
nginx
四、CLIENT訪問測(cè)試
在瀏覽器(建議用火狐瀏覽器)中輸入http://192.168.1.8/myapp/,訪問測(cè)試,頁面如下:

刷新一下瀏覽器,頁面如下:

發(fā)現(xiàn)兩次是調(diào)度到不同的機(jī)器上面,但是會(huì)話是同一個(gè),session 共享已經(jīng)實(shí)現(xiàn)。
把Memcached1上的memcached服務(wù)停掉。
刷新頁面,發(fā)現(xiàn)Memcached2充當(dāng)了會(huì)話共享服務(wù)器。

注意:備用的memcached m2 啟用了,原來只是session復(fù)制同步過去,現(xiàn)在是啟用了。但是會(huì)話沒有發(fā)生改變。
把Memcached1上的memcached再次啟用。

可以注意到的是此時(shí)在工作的是Memcached2,不會(huì)再轉(zhuǎn)移回去的。
說明:不成功的原因,可能是包版本不匹配,比如報(bào)NoSuchFileError。